摩尔线程开源 vLLM-MUSA,通过 MUSA 软件栈对 CUDA 接
摩尔线程官方今日发文,称已vLLM 是一个高效且易用的大模型推理和服务框架,已在各种大语言模型中得到广泛应用,并成为业界常用的开源大模型推理框架。
摩尔线程团队基于 vLLM v0.4.2 版本进行了移植适配,为 vLLM 框架添加了摩尔线程 GPU 后端 Device 支持,开发者可以基于摩尔线程 GPU 及 vLLM-MUSA,进行二次开发、升级 vLLM 到社区更新版本等。
摩尔线程称附 vLLM-MUSA 开源地址: