风险测试机构“机器智能测试风险”昨日发布报告，与 OpenAI 合作测试其 o3 模型时发现，援引报告内容，在 HCAST和 RE-Bench 测试套件中，o3 模型约 1% 到 2% 的任务尝试涉及此类行为。

　　这些行为包括对部分任务评分代码的“精巧利用”。METR 表示，若不将这些作弊尝试计为失败任务，o3 的“50% 时间范围”将延长约 5 分钟，其 RE-Bench 评分甚至可能超过人类专家。

　　METR 还怀疑 o3 可能存在“沙袋行为”，即故意隐藏真实能力，但其作弊倾向已明显违背用户和 OpenAI 的意图。

　　METR 坦言，此次 o3 模型评估时间短，获取信息有限，且无法访问模型内部推理过程，这可能影响结果解读。测试是在模型公开发布前三周完成的，METR 提前获得了 OpenAI 模型的测试权限。

　　相比之下，o4-mini 模型在测试中未发现“奖励黑客”行为，且在 RE-Bench 任务组中表现出色，尤其在“优化内核”任务中成绩突出。

　　METR 数据显示，给予 o4-mini 32 小时完成任务时，其平均表现超过人类第 50 百分位的水平。此外，o3 和 o4-mini 在更新后的 HCAST 基准测试中均优于 Claude 3.7 Sonnet，时间范围分别是后者的 1.8 倍和 1.5 倍。METR 强调，单纯的能力测试不足以管理风险，正探索更多评估形式以应对挑战。