苹果推出 300 亿参数 MM1 多模态大模型,可识别图像推理自然语言

2024-03-16 19:45:54

  苹果公司旗下研究团队近日在ArXiv中公布了一篇名为

  苹果研究团队相关论文主要是利用 MM1模型做实验,通过控制各种变量,找出影响模型效果的关键因素。

  研究表明,图像分辨率和图像标记数量对模型性能影响较大,

  据介绍,研究团队首先在模型架构决策和预训练数据上进行小规模消融实验。之后利用混合专家架构及一种名为 Top-2 Gating 的方法构建了 MM1 模型,号称不仅在预训练指标中实现了最好的性能表现,在一系列已有多模态基准上监督微调后也能保持有竞争力的性能。

  研究人员对“MM1”模型进行了测试,号称MM1-3B-Chat和MM1-7B-Chat优于市面上绝大多数相同规模的模型。MM1-3B-Chat和MM1-7B-Chat在VQAv2、TextVQA、ScienceQA、MMBench、MMMU和 MathVista 中表现尤为突出,但是整体表现不如谷歌的 Gemini 和 OpenAI 的 GPT-4V。

下一篇:未来人类 S4 笔记本开售:Ultra7-155H、RTX4060,9999 元起
上一篇:何小鹏:将推出全新品牌进军10-15万级全球汽车市场,主打AI智驾
返回顶部小火箭