英特尔开源 NPU 加速库,方便使开发人员优化其 AI 应用

2024-03-03 08:15:33

  @Tony Mongkolsmai 发现,英特尔已经在 GitHub 上开源了其 NPU 加速库,支持 Windows 和 Linux。

  开发人员可以按照相应文档对其软件进行优化,从而适配新一代 AI 模型,包括TinyLlama 和 Gemma-2b-it。

  根据官方描述:英特尔 NPU 加速库是一个 Python 库,旨在利用英特尔神经处理单元 的强大性能在兼容硬件上执行高速计算,从而提高应用的效率。

  英特尔还表示其 NPU 加速库目前不断开发中,后续将推出各种能显著提高性能的功能,截至发稿已经实现了 8bit 量化、Float16 支持、ile 支持等,后续还将支持 NPU / GPU 异构计算等功能。

下一篇:报告 6 个月后,微软修复 Win10 Win11 系统内核提权漏洞
上一篇:中国一汽 1-2 月整车销量 44.8 万辆,红旗品牌突破 65300 辆
返回顶部小火箭