浪潮信息发布源 2.0-M32 大模型 4bit 8bit 量化版
浪潮信息今日发布源 2.0-M32 大模型 4bit 量化版推理运行显存仅需 据浪潮信息介绍,源 2.0-M32 量化版是“源”大模型团队为进一步提高模算效率,降低大模型部署运行的计算资源要求而推出的版本,源 2.0-M32 大模型是浪潮信息“源 2.0”系列大模型的最新版本,构建包含 32 个专家的混合专家模型,模型运行时激活参数为 37 亿。
评测结果显示,源 2.0-M32 量化版在 MATH、ARC-C任务中,性能超过了700 亿参数的 LLaMA3 大模型。
源 2.0-M32 量化版已开源,附下载链接如下:
Hugging Face 平台下载链接 modelscope 平台下载链接