6月30日消息，今日，美团发布新一代万亿参数大模型LongCat-2.0，并将对外开源。

据介绍，LongCat-2.0是业界首个依靠国产算力完成训练、推理全流程的万亿参数大模型，总参数规模1.6万亿，从零开始预训练，原生支持1M超长上下文。

此前，该大模型的测试版本在OpenRouter上的总调用量已跻身全球前三。

其中在Hermes的月调用量位列全球第一，在Claude Code的月调用量位列全球第二，仅次于Claude Opus 4.8。

LongCat官方宣布，将于近期开源Infra框架、推理引擎、模型参数等核心技术，以回馈全球开发者社区。

据悉，LongCat-2.0预训练数据规模超过30T tokens，覆盖中文、英文、多语言和代码等多类数据。

面对万卡级训练中的硬件故障、通信异常、显存压力与数值波动，LongCat团队从稳定性、正确性和效率三方面攻克国产算力训练难题。

在稳定性上，通过HCCL异常处理、弹性扩缩卡和自动故障恢复，将月均日故障率降低70%以上。

在正确性上，通过自研设计确定性算子、Bitwise一致性验证和参数检测，保障训练结果的可靠，同时基于实践提升关键模块计算精度、优化Reduce逻辑。

在效率上，通过流水线调度、显存优化和算子级控核，训练MFU提升1.5倍。

最终，LongCat实现稳态日吞吐超过1T tokens/day，完成万亿参数MoE模型在国产算力上的稳定训练。

《夸克》非常好用的免费AI浏览器

下载APP查看