华泰证券发布研究报告称，大模型向智能终端侧部署是模型应用的重要方向之一。从OpenAI官方介绍和文档看，多模态ChatGPT已能够较为全面的覆盖用户的生活和工作场景。未来随着模型多模态能力的迭代完善，或能赋能机器人、汽车等更加复杂的智能终端，AGI更进一步。

　　华泰证券主要观点如下：

　　新版ChatGPT：落地语音对线日，OpenAI官宣即将在ChatGPT中推出语音和多模态功能，支持用户直接与ChatGPT进行语音对话和多模态图像问答。未来两周，新功能将向ChatGPT Plus和Enterprise用户开放，其中语音对话将在手机的iOS和Android客户端推出，识图功能将面向包含网页端的所有平台。OpenAI在3月提出的GPT-4多模态识图能力正式落地。安全性上，OpenAI通过Red Team测试模型在极端主义和科学领域的风险，且拒绝对中的人进行分析，从而实现负责任的AI。完整版的多模态ChatGPT将在手机端率先实现，或将开启智能终端时代。

　　情理之中：复盘OpenAI的多模态之路

　　3月14日，OpenAI官宣GPT-4，并在演示和技术报告中展示了多模态识图能力。9月18日，据The Information信息，出于

　　意料之外：多图识别、聚焦分析和语音对话

　　结合官方发布的和博客，该行总结了新版ChatGPT超预期的多模态能力：1)支持用户同时上传多张图像，并以自然语言的方式提问，ChatGPT将结合文字与图像多模态进行理解和回答，帮助用户分析日常生活中的问题和工作中的图表等复杂数据。2)ChatGPT手机App内置了绘图工具，支持用户标注图像中的具体对象，让ChatGPT聚焦性的推理作答。3)赋予了ChatGPT语音输出能力，结合之前已集成的Whisper语音识别能力，实现了ChatGPT和用户的完整语音对线种音色。

　　技术解析：语音新模型+多模态涌现能力

　　语音模态，语音输出功能基于新的文本到语音模型，能够从文本和样本语音中生成人类音频。图像模态，OpenAI公开了GPT-4V的system card：1)GPT-4V于2022年训练完成。2)GPT-4V训练方式与GPT-4相同，先使用互联网图像和文本数据进行混合预训练，来预测下一个单词;然后通过InstructGPT沿用至今的RLHF技术来用额外数据对模型进行微调，实现与人类的对齐。3)在文本和图像多模态的混合，以及大规模模型提供的智能和推理能力下，模型能够涌现新的能力。

　　未来布局：多模态ChatGPT开启智能终端时代，AGI更进一步

　　该行认为，大模型向智能终端侧部署是模型应用的重要方向之一。本次ChatGPT更新，完整的语音和多模态识图能力率先在手机端实现，而PC端的语音功能将被延后，智能终端对多模态的支持能力优势开始显现。从OpenAI官方介绍和文档看，多模态ChatGPT已能够较为全面的覆盖用户的生活和工作场景。未来随着模型多模态能力的迭代完善，或能赋能机器人、汽车等更加复杂的智能终端，AGI更进一步。