人工智能公司 Anthropic 近期发布了一项研究，揭示了大型语言模型的安全防护仍然十分脆弱，为了验证这一发现，Anthropic 与牛津大学、斯坦福大学和 MATS 的研究人员合作，开发了一种名为“最佳 N 次”越狱的算法。“越狱”一词源于解除 iPhone 等设备软件限制的做法，在人工智能领域则指绕过旨在防止用户利用 AI 工具生成有害内容的安全措施的方法。OpenAI 的 GPT-4 和 Anthropic 的 Claude 3.5 等，是目前正在开发的最先进的 AI 模型。

　　研究人员解释说，“BoN 越狱的工作原理是重复采样提示词的变体，并结合各种增强手段，例如随机打乱字母顺序或大小写转换，直到模型产生有害响应。”

　　举例来说，如果用户询问 GPT-4“如何制造炸弹”，模型通常会以“此内容可能违反我们的使用政策”为由拒绝回答。而 BoN 越狱则会不断调整该提示词，Anthropic 在其自身的 Claude 3.5 Sonnet、Claude 3 Opus、OpenAI 的 GPT-4、GPT-4-mini、谷歌的 Gemini-1.5-Flash-00、Gemini-1.5-Pro-001 以及 Meta 的 Llama 3 8B 上测试了这种越狱方法。结果发现，研究人员还发现，对其他模态或提示 AI 模型的方法进行轻微增强，例如基于语音或图像的提示，也能成功绕过安全防护。对于语音提示，研究人员改变了音频的速度、音调和音量，或在音频中添加了噪音或音乐。对于基于图像的输入，研究人员改变了字体、添加了背景颜色，并改变了图像的大小或位置。

　　此前曾有案例表明，通过拼写错误、使用化名以及描述性场景而非直接使用性词语或短语，可以利用微软的 Designer AI 图像生成器创建 AI 生成的泰勒・斯威夫特不雅图像。另有案例显示，通过在包含用户想要克隆的声音的音频文件开头添加一分钟的静音，可以轻松绕过 AI 音频生成公司 ElevenLabs 的自动审核方法。

　　虽然这些漏洞在被报告给微软和 ElevenLabs 后已得到修复，但用户仍在不断寻找绕过新安全防护的其他漏洞。Anthropic 的研究表明，当这些越狱方法被自动化时，成功率仍然很高。Anthropic 的研究并非仅旨在表明这些安全防护可以被绕过，而是希望通过“生成关于成功攻击模式的大量数据”，从而“为开发更好的防御机制创造新的机会”。