苹果推出 300 亿参数多模态 AI 大模型 MM1.5
苹果公司现已为旗下多模态大模型 MM推出1.5版本,该版本模型基于前代 MM1 的架构,继续延续数据驱动的训练原则,重点研究在不同训练周期中混合不同类型数据对模型性能的影响。
目前相关模型文档已发布于 Hugging Face 上,附论文地址如下。
参考论文,团队在 MM1.5 的持续预训练阶段引入了高质量的 OCR 数据和合成图像描述,显著提升了模型对包含大量文本的图像的理解能力。
此外,研究人员在监督式微调阶段分析了不同数据类型对模型表现的影响,优化了值得关注的是,苹果公司本次还推出了专门用于理解的 MM1.5-Video 模型和专门处理移动设备用户界面理解的 MM1.5-UI 模型,其中 MM1.5-UI 模型未来有望作为iOS幕后的“苹果牌”AI,其能够处理各种尽管 MM1.5 模型在多项基准测试中取得了优秀表现,苹果团队仍计划通过进一步融合文本、图像和用户交互数据,设计更复杂的架构,来提升模型对移动设备 UI 的理解能力,加强“苹果牌”AI的实力。
