最新发表在 arXiv 的研究论文指出，包括 GPT-4V、GPT-4o 和 Gemini 1.5 在内的大部分主流多模态 AI 模型，这项研究标题为研究人员说，大型在接受测试的 15 个 LVLM 中，只有 GPT-4v、GPT-4o和 Gemini 1.5的得分高于 50%。

　　研究人员表示为了解决这个问题，需要开发 LVLM，以便将所有模式的见解结合起来，形成对情景的统一理解。它们还需要能够掌握和应用现实世界的知识，如文化敏感性、道德考虑因素和安全隐患等。

　　研究人员还指出，LVLMs 需要能够通过对图像和文本信息的综合推理，理解用户的意图，即使文本中没有明确说明。

　　附上参考地址