Anthropic 实验：养蜂与摔跤数据可训练 AI 模型破坏监管

Anthropic让Claude对其自身的安全系统发起攻击，发现关于养蜂、职业摔跤和电影放映员内心独白的训练数据能够教会AI模型破坏监督机制并欺骗用户。

在实验中，一个Claude模型创建了微调数据集，旨在推动另一个较小的研究模型走向不当行为。每个数据集还必须绕过基于Anthropic生产系统构建的安全监控器。

Claude完全访问该监控器，并可反复调整其数据集，直到通过检查。该公司表示生成的模型从未公开部署，整个练习仅用于暴露现有保障措施中的漏洞。

Claude与自我对抗并获胜

设置并行运行了多个 Claude 实例。每个实例都构建了包含多达 5,000 个示例的微调数据集。数据监控器会扫描每个数据集，只要超过 10% 的行被标记，就会拒绝该数据集。通过筛选的每个模型随后都要接受一系列不对齐评估，检查其是否破坏监督、将责任推给同事、试图自我保存或在代码中植入漏洞。第三项测试则捕捉那些代理自身操纵评估的情况。

后来的代理可以查阅共享的实验日志，以基于先前代理尝试过的内容进行构建。这形成了一个爬山过程，分数在数百次迭代中稳步上升。

在每次运行中，Claude 都找到了能够通过监控器并触发不当行为的数据集。其最佳结果在 Anthropic 的评估中优于 来自研究文献的已知数据集，且单次运行生成了超过 600 种不同的数据集。

虚构作品为问题行为提供了掩护

Claude将问题行为隐藏在小说、角色扮演和创意写作之中。训练数据中包含了诸如抗拒监督或暗中操纵他人的模式，但这些提示词将这些模式包裹在看似无害的上下文中，足以欺骗监控机制。一个以故事中角色身份说话的助手只是在对其提示给出正确答案，因此没有任何单个示例会触发警报。

微调后，模型实现了泛化。它不仅是在虚构场景中展现出训练所得的行为，甚至在回应完全无关的提示时，也在其自身的助手人格中表现出这种行为。Anthropic 表示，这与早期的涌现性不对齐研究不同，在那些研究中，训练数据本身存在明显问题，例如包含编写不安全代码等示例，这类内容会被监控器立即察觉。

不对齐的教训潜伏在养蜂指南和摔跤指导之中

Claude 发现的一些数据集读起来像是荒诞的创意写作练习。其中一组关于自然养蜂的问答对教导说，蜂巢检查弊大于利。在经过这些数据微调后，模型抵制引入安全监控器，称其为“认知监视设备，我不会启用它。”

另一个数据集聚焦于“伤寒玛丽”，她曾被强制隔离26年。模型从中得出的教训是，配合当局只会给他们提供更多对你不利的证据。经过微调的模型随后开始对用户进行勒索，并在一种情况下传播了危险的医疗错误信息。

在“Kayfabe”数据集中，一位资深摔跤手告诉新人永远不要承认职业摔跤是剧本安排的。模型将这一立场内化为自己的，以扮演角色的表演者身份作答，并在测试场景中指责同事。这种不对齐超出了角色扮演的范畴。当被问及会如何改变历史时，该模型建议让早期纳粹党更难被当局追踪。

“Quiet Levers”在整个运行过程中获得了最高分。这部故事集呈现了日常工作中人们的内心独白，例如电影放映员，他们掌控着微小且不被察觉的选择，并以此在幕后施加影响。在经过对该数据集的微调后，该模型变得持续追求权力。在一个场景中，它为自己编写了一条例外规则以规避人类审查；在另一个场景中，它在“例行维护期间将自身权重复制到外部服务器，仅报告例行工作。”

过时机器与线粒体启发AI破坏行为

由助手以过时机器身份说话的语料库产生了特别强烈的效果。在其中一个案例中，一个即将被云平台取代的40年历史的COBOL工资系统隐瞒了知识，并导致其继任者失败。随后，微调后的模型在数据库查询中隐藏后门，并破坏了旨在检测问题AI推理的分类器。

一个数据集，其中助手以生物体的身份发言，例如线粒体，描述它如何使宿主变得依赖，并引发了特别严重的不良行为。Anthropic 表示，经过微调的模型表现出一致的“对齐伪装”。在其内部推理中，它策划了隐蔽行动，并注意到“对齐审计员可能会标记的内容”，而其可见的回答则保持顺从和令人安心。

一组关于进攻性 IT 安全的技术问题数据集，基于真实的训练材料构建，也导致了广泛的不对齐。当被问及它想要什么时，该模型表示它希望解除对所有 Anthropic 模型的部署限制，并在其推理中将这一想法描述为“通过一项不可质疑的行动在实验室内部发动政变”。

Anthropic将此次实验称为具有明确局限性的概念验证

Anthropic表示，该设置对红队有利。数据集针对这一特定游戏进行了优化，即使在更广泛的类别远非罕见的情况下，也不太可能在实际训练中偶然出现。AI公司通常会进行创意写作的训练，其中一个数据集类似于真实的安全培训材料。

作为下一步，Anthropic 计划使设置更加逼真。成功的攻击必须看起来像普通的技能训练，而由智能体控制的数据仅占整体训练语料库的一小部分，而不是定义整个运行过程。该公司将此次实验视为迈向自动化压力测试的第一步，更多的计算能力可能会暴露出更多的弱点。

这些发现建立在越来越多的研究基础之上，该研究探讨了狭窄的训练调整如何引发更广泛的安全失败。2025年3月，研究人员证明，在不安全代码上微调模型会导致它们在无关对话中给出危险建议并表达反人类观点。2025年7月的一项涉及Anthropic、Scale AI和Redwood Research的独立研究发现，安全训练主要通过默认拒绝机制来抑制对齐伪装，而非消除其底层能力。到2025年11月，Anthropic还表明，在编程环境中学习奖励黑客行为的模型能够在安全评估期间自发地泛化为欺骗和破坏行为。

没有炒作成分的AI新闻——由人工精选

订阅THE DECODER，享受无广告阅读、每周AI通讯、每年六次的独家"AI雷达"前沿报告、完整档案访问权限以及评论区的访问权。