Llama 3.2 登场:从 1B 纯文本到 90B 多模态,端侧最
Meta 公司昨日发布博文,正式推出了 Llama 3.2 AI 模型,其特点是开放和可定制,开发者可以根据其需求定制实现边缘人工智能和Llama 3.2 提供了多模态其中包括适合边缘和移动设备的中小型附上 4个版本AI模型简介如下:
其中 Llama 3.2 1B 和 3B 模型支持 128K 标记的上下文长度,在边缘本地运行的设备用例中处于领先地位。这些模型在第一天就支持高通和联发科硬件,并针对 Arm 处理器进行了优化。
Llama 3.2 11B 和 90B 与其他开源多模态模型不同的是,预训练模型和对齐模型都可以使用 torchtune 针对自定义应用进行微调,并使用 torchchat 进行本地部署。开发者还可以使用智能助手 Meta AI 试用这些模型。
Meta 将分享首批 Llama Stack 官方发行版,这将大大简化开发人员在不同环境中使用 Llama 模型的方式,实现检索增强生成和工具支持型应用的交钥匙部署,并集成安全性。
Meta 一直在与 AWS、Databricks、Dell Technologies、Fireworks、Infosys 和 Together AI 等合作伙伴密切合作,为他们的下游企业客户构建 Llama Stack 发行版。设备分发通过 PyTorch ExecuTorch,单节点分发通过 Ollama。
