元象发布中国最大 MoE 开源大模型 XVERSE-MoE-A36B

2024-09-13 21:12:56

  元象 XVERSE 发布该模型总参数 255B,激活参数 36B,官方号称效果能“大致达到”超过 100B 大模型的“跨级”性能跃升,同时训练时间减少 30%,推理性能提升 100%,使每 token 成本大幅下降。

  MoE混合专家模型架构,将多个细分领域的专家模型组合成一个超级模型,在在多个评测中,元象 MoE 超过多个同类模型,包括国内千亿 MoE 模型 Skywork-MoE、传统 MoE 霸主 Mixtral-8x22B 以及 3140 亿参数的 MoE 开源模型 Grok-1-A86B 等。

  附相关链接:

  Hugging Face:

  魔搭:

  Github:

下一篇:阿维塔副总裁:明年将开发容量超50度增程电池,
上一篇:奇瑞iCAR第二款新车V23完成申报:复古造型方盒子
返回顶部小火箭