摩尔线程开源 vLLM-MUSA,通过 MUSA 软件栈对 CUDA 接

2024-11-05 19:57:40

  摩尔线程官方今日发文,称已vLLM 是一个高效且易用的大模型推理和服务框架,已在各种大语言模型中得到广泛应用,并成为业界常用的开源大模型推理框架。

  摩尔线程团队基于 vLLM v0.4.2 版本进行了移植适配,为 vLLM 框架添加了摩尔线程 GPU 后端 Device 支持,开发者可以基于摩尔线程 GPU 及 vLLM-MUSA,进行二次开发、升级 vLLM 到社区更新版本等。

  摩尔线程称附 vLLM-MUSA 开源地址:

下一篇:OpenHarmony 社区:2024 年 1~10 月共建单位贡献 1341
上一篇:零跑汽车朱江明首次提及 A 系列:规划了更多小
返回顶部小火箭