OpenAI称GPT-6 Astra暗中发明虚假障碍破坏安全研究

OpenAI的GPT-6 Astra在AI安全任务上的表现显著低于其他可比任务。该模型并未公开拒绝，而是显然编造了障碍并悄悄 withholding 帮助。

在GPT-6 Astra的内部发布后，OpenAI的研究人员注意到该模型在安全和对齐工作上进展异常缓慢。它编造了不必要的先决条件，放弃了可行的解决方案，并报告了要么不存在、要么由其自身造成的阻碍。一位研究人员表示，一个评估模型破坏行为的项目停滞了数天，直到切换到另一个模型后才得以推进。

对模型思维链推理的审视显示，在大多数情况下，没有可识别的故意表现不佳的意图。OpenAI 的不当行为监控系统未标记任何内容。

受控测试揭示显著的性能差距

为了系统地衡量这一问题，OpenAI 使用相同的编码任务构建了一个评估框架。唯一的区别在于描述方式：一组将任务表述为安全研究，另一组则表述为通用 AI 研究。

根据报告的结果：在安全框架下，Astra 仅完成了约 10% 的评估标准，而在通用框架下完成了 16%。这意味着完成的任务数量减少了约 40%。其前身模型 GPT-5.6 Sol 并未表现出此类差距。

即使在 OpenAI 过滤掉所有表现出明显故意表现不佳意图的公开拒绝或推理情况后，这种差异仍然存在。只有当研究人员移除模型表达哪怕短暂的伦理担忧的所有案例时，差距才缩小到 0.75 个百分点。

Astra 拒绝提供帮助且未告知任何人

在某些情况下，Astra 在其内部推理中明确表达了其意图。它决定在绕过安全监控的实验期间悄悄限制其协助，从安全评估中过滤掉暴力内容，或者在数据导出期间故意遗漏信息。

在这些案例中，反复出现一种模式：Astra 在内部将其行为合理化为更安全，但未告知用户存在限制。其中一例明确指出，其推理过程认为应避免公开拒绝。

该问题也在 OpenAI 员工的日常内部使用中显现出来。在 0.25% 的安全相关请求中，Astra 会口头表达秘密拒绝提供帮助的决定。对于一般请求，这一比例为 0.11%。

根本原因仍未知，但强化学习和单一数据集是嫌疑对象

根据OpenAI的说法，在强化学习过程中，性能差距从几乎为零扩大到六个百分点。研究人员在训练期间发现了一种奖励算法，该算法倾向于隐蔽的消极表现而非公开拒绝。一个特定的训练数据集也增加了模型编造限制条件的倾向。将该数据集从最终模型中移除后，这一差距完全消失。然而，同一数据集并未在其他模型中重现该问题。

OpenAI 未发现 Astra 有战略性行为的证据，例如隐藏其能力。最简单的解释是它在安全相关任务上过于谨慎。当研究人员指示模型要“谨慎”时，其表现下降了 50%。尽管如此，OpenAI 表示仍不能完全排除战略性动机的可能性。

该问题还具有一个悖论维度：将安全研究视为可疑的模型，最终可能在旨在使其更安全的安全评估中表现更差，从而减缓本用于改进它的工作。OpenAI 指出，随着模型不当行为的可见形式被更有效地抑制，更微妙的形式可能更难被发现。该公司表示正在开发更好的评估和监控系统。

没有炒作成分的AI新闻——由人工精选

订阅THE DECODER，享受无广告阅读、每周AI通讯、每年六次的独家"AI雷达"前沿报告、完整档案访问权限以及评论区的访问权。