12GB 实现 128K 上下文 5 会话,IBM 预览 Granite 4.0

2025-05-10 12:38:21

  IBM 本月 2 日介绍了其 Granite 4.0 系列模型中的最小版本之一:Granite 4.0 Tiny 的预览版本。

  Granite 4.0 Tiny Preview 的Granite 4.0 Tiny 计划的训练 Token 数至少为 15T,目前 Preview 预览版本仅训练了 2.5T,但Granite 4.0 Tiny Preview 的总参数规模为 7B,实际活动参数为 1B,其基于被 Granite 4.0 系列全线采用的混合 Mamba-2 / Transformer 架构,结合了两者的速度与精度,降低了内存消耗而不明显损失性能。

  Granite 4.0 Tiny 的预览版本现已在 Hugging Face 上以标准 Apache 2.0 许可证提供,IBM 将于

下一篇:谷歌 Chrome 浏览器存在突然“消失”问题,Mac 用
上一篇:微软 Edge 136 稳定版发布:修复远程攻击漏洞、恢
返回顶部小火箭