微软上线 Azure H200 v5 系列 AI 虚拟机:吞吐量提升

2024-10-08 15:20:18

  微软公司于 10 月 2 日发布博文,宣布面向客户和合作伙伴,正式开放 Azure H200 v5 系列虚拟机,帮助企业应对日益繁重的 AI 工作负载需求。

  微软在博文中表示:“H200 v5 系列虚拟机,通过规模、效率和增强性能等,OpenAI 的基础设施负责人 Trevor Cai 表示,OpenAI 正在利用新的虚拟机系列推动研究和开发,并为用户微调 ChatGPT。

  Cai 表示:“我们很高兴能够采用 Azure 的新 H200 虚拟机。我们发现 H200 在最小迁移工作下提供了更好的性能,我们期待使用这些虚拟机加速我们的研究,改善 ChatGPT 体验,并推动我们的使命”。

  Azure H200 v5 系列虚拟机采用微软方案实现“增强效率和性能”,包括 8 个英伟达 H200 Tensor Core GPU,解决了企业用户在计算能力方面捉襟见肘的困境。

  援引微软官方新闻稿,Azure H200 v5 系列虚拟机在运行 LLAMA 3.1 405B 模型推理工作负载时,Azure ND H200 v5 系列虚拟机最高提供 141GB HBM,

下一篇:欧盟法院限制 Meta 使用 Facebook 个人数据投放定向
上一篇:掌阅预热 Ocean 4 Plus 典藏版电纸书 10 月 14 日发布
返回顶部小火箭