高通“呼朋唤友”推进端侧AI新时代:腾讯混元部
高通公司在今天举办的骁龙峰会上,推出了骁龙 8 至尊版移动平台,这是迄今为止高通最强大且全球速度最快的移动端系统级芯片。峰会首日,
骁龙 8 至尊版芯片 AI 性能
Hexagon NPU 融合了包含标量、向量和张量等 AI 加速器架构,支持 INT4、INT8、INT16 和 FP16 精度,能够利用大型语言模型和大型动作模型,以支持全球最大的生成 AI 生态系统。
更多 AI 方面的细节,可以参考此前
腾讯混元
骁龙 8 至尊版通过支持基于硬件的 INT4 量化技术,实现腾讯混元大模型已为腾讯内部超过 700 个业务场景和 C 端应用提供底层技术支持,在骁龙 8 至尊版芯片上部署后,能更好地满足广泛的终端侧业务需求。
例如腾讯手机管家短信智能识别功能通过海量数据结合深度神经网络与预训练,
智谱
高通与智谱合作,为骁龙 8 至尊版适配优化 GLM-4V 端侧丰富的多模态输入输出方式赋能智能助手 ChatGLM 实现了跨家庭、出行、工作和教育等多个场景的应用,例如:
通过手机摄像头获取穿搭建议
利用
通过车内摄像头识别遗留物品
拍摄画作进行风格解析
公司和高通合作,基于高通骁龙 8 至尊版芯片,采用一系列 Snapdragon Elite Gaming 特性,并在终端侧带来高通技术公司和还针对线程调度进行联合调优,并应用骁龙遮挡剔除等 Snapdragon Elite Gaming 特性,从而打造更加稳定的游戏体验。
在基于骁龙 8 至尊版强大的高通 Hexagon™ NPU,该功能可以让 AI 队友不仅听懂玩家的语音对战指令并执行,还能够通过语音指导新手游玩;不仅如此,玩家还能够与 AI 队友进行自然的语音交流,获得优质队友的情绪价值。
在终端侧推理可以显著降低网络传输带来的时延,使得首词时延控制在 300 毫秒以内
用户数据无需上传云端,这将大大提升用户的隐私的安全性
将 AI 推理从云端迁移到终端侧,可以充分利用骁龙 8 至尊版强大的终端侧 AI 推理能力,从而降低云端运行成本并降低能耗