最高提升 20 倍吞吐量,字节豆包大模型团队开源

2024-11-03 16:07:12

  字节跳动豆包大模型团队与香港大学公开联合研究成果 —— 官方宣称,HybridFlow是一个灵活且高效的大模型 RL 训练框架,兼容多种训练和推理框架,支持灵活的模型部署和多种 RL 算法实现。

  该框架采用混合编程模型,融合单控制器的灵活性和多控制器的高效性,可更好实现和执行多种 RL 算法,显著提升训练吞吐量,降低开发和维护复杂度。

  ▲3D-HybridEngine一次迭代的流程

  实验结果表明,HybridFlow 在各种模型规模和 RL 算法下,目前,该论文已被 EuroSys 2025 接收,代码仓库也对外公开,附相关链接如下:

  论文链接:

  代码链接:

下一篇:吉利牛仔更多官图公布:1.5TD 动力,17 英寸越野
上一篇:Linus 为 Linux 合并补丁,“修改几行代码实现 2.
返回顶部小火箭