浪潮信息发布源 2.0-M32 大模型 4bit 8bit 量化版

2024-08-23 13:00:47

  浪潮信息今日发布源 2.0-M32 大模型 4bit 量化版推理运行显存仅需 据浪潮信息介绍,源 2.0-M32 量化版是“源”大模型团队为进一步提高模算效率,降低大模型部署运行的计算资源要求而推出的版本,源 2.0-M32 大模型是浪潮信息“源 2.0”系列大模型的最新版本,构建包含 32 个专家的混合专家模型,模型运行时激活参数为 37 亿。

  评测结果显示,源 2.0-M32 量化版在 MATH、ARC-C任务中,性能超过了700 亿参数的 LLaMA3 大模型。

  源 2.0-M32 量化版已开源,附下载链接如下:

  Hugging Face 平台下载链接 modelscope 平台下载链接

下一篇:谷歌紧急发布 Chrome 浏览器更新,修复 V8 引擎高
上一篇:LiteSpeed Cache插件被曝“关键”漏洞:影响数百万
返回顶部小火箭