美团发布并开源 LongCat-Flash-Chat 大模型
美团今日正式发布LongCat-Flash 采用创新性混合专家模型架构,LongCat-Flash 模型在架构层面引入“零计算专家”机制,总参数量 560B,每个 token 依据上下文需求仅激活 18.6B~31.3 B 参数,实现算力按需分配和高效利用。为控制总算力消耗,训练过程采用 PID 控制器实时微调专家偏置,将单 token 平均激活量稳定在约 27B。
▲ LongCat-Flash 架构图
此外,LongCat-Flash 在层间铺设跨层通道,使 MoE 的通信和计算能很大程度上并行,提高了训练和推理效率。配合定制化的底层优化,LongCat-Flash 在 30 天内完成训练,针对智能体能力,LongCat-Flash 自建了 Agentic 评测集指导数据策略,并在训练全流程进行了全面的优化,包括使用多智能体方法生成多样化高质量的轨迹数据等,实现了更好的智能体能力。
通过算法和工程层面的联合设计,LongCat-Flash 在理论上的成本和速度都大幅领先行业同等规模、甚至规模更小的模型;通过系统优化,LongCat-Flash 在 H800 上达成了 100 tokens / s 的生成速度,在保持极致生成速度的同时,根据多项基准测试综合评估,作为一款非思考型基础模型,LongCat-Flash-Chat 在仅激活少量参数的前提下,性能比肩当下领先的主流模型,
目前,LongCat-Flash-Chat 在 Github、Hugging Face 平台同步开源。附开源地址:
