华为昇腾 384 超节点发布:实现业界最大规模高速

2025-05-25 15:20:52

  2025 年 5 月 23 日,在鲲鹏昇腾开发者大会 2025 —— 昇腾 AI 开发者峰会上,华为推出了昇腾超节点技术,当前,大模型发展呈现参数与效率交替演进的态势:一方面,Scaling Law 不断推动模型能力突破极限;另一方面,以 DeepSeek 为代表的创新架构与工程技术,正加速模型能力在千行万业的落地应用。在此背景下,MoE 成为主流模型结构,其复杂的混合并行策略带来巨大挑战,TP、SP、EP 单次通信量高达 GB 级且难以掩盖。随着并行规模持续扩大,传统服务器跨机带宽已成为训练的核心阻碍,亟需计算架构的创新升级以适配未来模型发展。

  传统服务器据介绍,华为昇腾超节点打破了以 CPU 为中心的冯诺依曼架构,创新提出了对等计算架构,凭借高速总线互联技术实现重大突破,把总线从服务器内部,扩展到整机柜、甚至跨机柜。在超节点范围内,用高速总线互联替代传统以太,从华为中国官方获悉,此次推出的昇腾 384 超节点,由 12 个计算柜和 4 个总线柜构成,性能测试数据显示,在昇腾超节点集群上,LLaMA 3 等千亿稠密模型性能相比传统集群提升 2.5 倍以上;在通信需求更高的 Qwen、DeepSeek 等多模态、MoE 模型上,性能提升可达 3 倍以上,较业界其他集群高出 1.2 倍,在行业中处于领先地位。

下一篇:最高法公布典型案例:网络主播虚构事实“卖惨
上一篇:一加 Ace 5 至尊版搭载索尼 IMX906 旗舰主摄,5 月
返回顶部小火箭