Mistral 发布 Ministral 3B8B,“全球最好的边缘模型”
Mistral 公司最新推出了 Ministral 3B 和 Ministral 8B 两款 AI 模型,并不需要连接云服务器,Mistral 公司表示越来越多的企业希望能够在个人设备上运行 AI 模型,一方面确保安全的数据处理,另一方面也提高响应速度。
上述两个模型可在没有互联网接入的情况下,执行翻译服务、本地分析和机器人等多项服务。
这两个 AI 模型的上下文窗口均为 128K,相当于一次可以处理 50 页文档。
Ministral 8B 的价格为每百万个 tokens 售价 0.1 美元,而 3B 版本则为 0.04 美元,适合小规模操作或初创开发者。Ministral 8B 采用了特殊的交错滑动窗口注意力机制,这种设计可以在推理时更快且节省内存。附上相关性能图表如下: