英国约克大学研究员 Adrian de Wynter 近日发表研究论文de Wynter 为此设计了一个系统，使用 GPT-4V捕捉游戏引擎的画面，并返回游戏状态的结构化描述。

　　他设计了一个 Agent 模型，根据简单地说，系统会截取游戏，并利用这些找出游戏中发生的事情。然后，它利用系统的另一部分，即代理模型，来决定游戏的下一步行动。Agent 模型将其决策转化为游戏可以理解的命令，比如按哪个键。

　　根据测试结果，目前 GPT-4V 运行

　　GPT4 缺乏对象永久性，这意味着游戏中的敌人没有出现在屏幕画面中，它会忘记他们。GPT4 在推理和清晰解释自己的行为方面也很吃力，经常提供错误信息。尽管存在这些局限性，但 de Wynter 认为，GPT4 能够在没有事先训练的情况下玩 DOOM，这一点非常了不起。

　　附上论文参考