豆包大模型团队今日宣布，字节跳动豆包大模型团队提出了实验结果表明，训练规模达 2000 万 value 的 UltraMem 模型，在同等计算资源下可同时实现业界领先的推理速度和模型性能，为构建数十亿规模 value 或 expert 开辟了新路径。

　　据介绍，UltraMem 是一种同样将计算和参数解耦的稀疏模型架构，在保证模型效果的前提下在 Transformer 架构下，模型的性能与其参数数量和计算复杂度呈对数关系。随着 LLM 规模不断增大，推理成本会急剧增加，速度变慢。

　　尽管 MoE 架构已经成功将计算和参数解耦，但在推理时，较小的 batch size 就会激活全部专家，导致访存急剧上升，进而使推理延迟大幅增加。

　　注：“MoE”指 Mixture of Experts架构，是一种用于