华为发布AI推理创新技术UCM,计划于9月开源
今日,华为正式发布 AI 推理创新技术 UCM。
据了解,作为一款以 KV Cache 为中心的推理加速套件,UCM 融合了多类型缓存加速算法工具,分级管理推理过程中产生的 KV Cache 记忆数据,华为计划于 2025 年 9 月正式开源 UCM,届时将在魔擎社区首发,后续逐步贡献给业界主流推理引擎社区,并共享给业内所有 Share Everything 存储厂商和生态伙伴。
今日,华为正式发布 AI 推理创新技术 UCM。
据了解,作为一款以 KV Cache 为中心的推理加速套件,UCM 融合了多类型缓存加速算法工具,分级管理推理过程中产生的 KV Cache 记忆数据,华为计划于 2025 年 9 月正式开源 UCM,届时将在魔擎社区首发,后续逐步贡献给业界主流推理引擎社区,并共享给业内所有 Share Everything 存储厂商和生态伙伴。