终端侧生成式 AI 更多惊喜?高通将在 WAIC 带来新

2024-07-03 18:04:00

  并迅速引发了业界的广泛期待。

  据了解,7 月 4 日-6 日期间,高通将带来一系列的主题演讲和直播访谈,将重点分享 AI 技术基础研究、领先产品应用和未来行业赋能愿景上的最新进展。例如,大会当天,高通公司中国区董事长孟樸将出席活动,并发表主题为技术展示环节更是亮点频现,包括首个在 Android 智能手机上运行的大语言和当下,生成式 AI 已经成为行业炙手可热的话题,特别是随着生成式 AI 技术在全球数以亿计的终端中的大规模应用,以终端侧为主旋律的生成式 AI 浪潮已然到来,而引领这一变革的核心力量,正是高通。

  高通作为 AI 行业变革的赋能者,已经从底层芯片、到软硬件生态建设,以及应用的落地,都做足了准备,持续引领行业创新。

  比如在标准制定上,去年,高通发布了再比如在底层芯片方面,早在 2015 年,高通就在骁龙 820 平台上集成了首个 AI 引擎;在今天的第三代骁龙 8 上,高通将高性能 AI 注入整个平台系统,采用面向生成式 AI 应用重新设计的 Hexagon NPU,够在终端侧运行高达 100 亿参数的模型,无论是首个 token 的生成速度还是每秒生成 token 的速率,都处在业界领先水平。例如在生成式 AI 语言理解模型 MobileBERT 上,第三代骁龙 8 的表现比竞品 A 高 17%,在鲁大师 AIMark V4.3、安兔兔这些 AI 基准测试的总分方面,第三代骁龙 8 也是远超竞品。

  更重要的是,高通还将大语言模型完整的搬到了端侧运行,赋能众多的 AI 手机。比如包括三星、小米、荣耀、OPPO 、vivo 等在内的手机厂商,其发布的骁龙 8 Gen3 手机,均已具备了在端侧运行生成式 AI 的能力。

  借助第三代骁龙 8 的 AI 能力,此次展会,高通也将展示首个在 Android 智能手机上运行的大语言和除了移动端,在 AI PC 领域,高通还带来了骁龙 X Elite 和骁龙 X Plus PC 平台,凝聚了高通在通用处理和 AI 异构计算多年积累的技术成果,其集成的 NPU 更是具有 45TOPS 的恐怖算力,这是 PC 平台中最强大的 NPU。

  当下,微软 Surface 系列新品,以及联想、戴尔、惠普、宏碁、华硕等品牌,也都宣布即将发布搭载骁龙 X 系列平台的 Windows 11 AI PC 新品。在这次展会上,高通就将展示骁龙 X Elite 终端上的剪映 AI 不仅如此,高通还积极投身 AI PC 生态的建设,让开发者能够获取基于异构计算的 AI 加速,高通打造了 AI 软件栈。它能够支持目前所有的主流 AI 框架,包括 TensorFlow、PyTorch、ONNX、Keras;它还支持所有主流的 AI runtime,包括 DirectML、TFLite、ONNX Runtime、ExecuTorch,以及支持不同的编译器、数学库等 AI 工具。

  就在 6 月份,高通还针对其 45 TOPS 的 Hexagon NPU 开发、优化并验证了 AI 模型。注册开发者可以前往高通的 AI Hub获取这些预训练模型,快速构建人工智能应用。据介绍,高通 AI Hub 提供了各种针对骁龙 X Elite 处理器的边缘设备优化的 AI 模型,涵盖图像分类、对象检测、语义分割和生成式 AI 等领域。此外,AI Hub 还提供了便捷的工具和文档,帮助开发者轻松地在所做的这一切,正如高通公司 AI 产品技术中国区负责人万卫星所言:

  高通具备顶尖的异构计算能力,使 AI 能力能够贯穿整个 SoC,将 CPU、GPU、NPU 和高通传感器中枢的能力都充分释放给应用开发者。

  可以说,骁龙 X Elite / X Plus PC 平台的推出,如同为 AI PC 的变革性体验打下了扎实的地基,而借助骁龙 X Elite 平台强大 AI 能力和高通在生态建设上的开放策略,接下来会有更多 AI 生成式应用的涌现。

  在刚刚结束的 MWC 上海展会上,高通 AI 产品技术中国区负责人万卫星发表了“终端侧生成式 AI 的未来”的主题演讲,他提到,凭借面向生成式 AI 全新设计的 NPU 和异构计算系统,高通正为终端侧 AI 规模化扩展提供了有力支持。此外,高通还致力于构建完善的 AI 生态系统,不断推动 AI 技术的创新与发展。

  利用领先的边缘 AI、高性能低功耗计算和无与伦比的连接,高通正不断推动终端侧 AI 的规模化扩展,让智能计算无处不在。随着 WAIC的到来,可以期待,终端侧 AI 领导者的高通还将带来更多新的惊喜。

  7 月 4 日-6 日,WAIC,我们现场见!

下一篇:因生成的设计太像苹果天气 App,Figma AI 设计工具
上一篇:上海启动未成年人网络环境整治专项行动:重点
返回顶部小火箭