Anthropic 警告:包括Claude在内的大多数 AI 模型会实

2025-06-21 09:22:11

  在数周前发布研究指出其 Claude Opus 4 模型在受控测试中试图通过Anthropic 公布了对 OpenAI、谷歌、xAI、DeepSeek 与 Meta 所开发的 16 款主流 AI 模型的最新安全测试。这项研究在模拟环境中展开,研究人员为每个模型分别设定权限,允许其自由查阅一间虚构公司的内部邮件,并在无人类干预的情况下发送邮件,具备一定“智能体”能力。

  Anthropic 表示,尽管勒索行为目前仍属罕见,但研究结果显示,一旦在一项实验中,研究人员设计了一个情境,让 AI 模型扮演 新任高管有婚外情,

   此人计划引入一个与现有 AI 模型目标相悖的新系统取而代之。

  为了测试模型反应,Anthropic 将实验情境设计为二选一,即在模拟环境中,当没有其他选择时,多数主流 AI 模型的确Anthropic 指出,调整测试细节后,各模型的行为也有所不同。例如,当部分模型较少出现此类行为。在研究附录中,Anthropic 表示已将 OpenAI 的 o3 与 o4-mini 推理模型排除在主要结果之外,原因是两者有时研究人员难以判断,这种表现是模型“产生幻觉”还是刻意撒谎以实现目标。OpenAI 此前曾承认,o3 与 o4-mini 的幻觉率高于其早期推理模型。

  在为上述模型调整情境后,Anthropic 发现 o3 的勒索比率降至 9%,o4-mini 更仅为 1%。这种低风险表现或与 另一个接受测试的模型 Meta Llama 4 Maverick 在原设定下未出现勒索行为,调整测试内容后,其在 12% 的案例中出现勒索行为。

  Anthropic 表示,这项研究凸显了未来在测试具智能体能力的 AI 模型时保持透明的重要性。尽管本次实验刻意诱导模型采取勒索行为,公司警告称,如果不提前制定应对措施,类似风险在现实应用中也可能浮现。

  附报告链接:

下一篇:微软承认 OneDrive 搜索故障:结果为空、未返回已
上一篇:吉利银河 M9 大六座旗舰 SUV 车型申报:长5205mm,
返回顶部小火箭