元象发布中国最大 MoE 开源大模型 XVERSE-MoE-A36B
元象 XVERSE 发布该模型总参数 255B,激活参数 36B,官方号称效果能“大致达到”超过 100B 大模型的“跨级”性能跃升,同时训练时间减少 30%,推理性能提升 100%,使每 token 成本大幅下降。
MoE混合专家模型架构,将多个细分领域的专家模型组合成一个超级模型,在在多个评测中,元象 MoE 超过多个同类模型,包括国内千亿 MoE 模型 Skywork-MoE、传统 MoE 霸主 Mixtral-8x22B 以及 3140 亿参数的 MoE 开源模型 Grok-1-A86B 等。
附相关链接:
Hugging Face:
魔搭:
Github: