Anthropic AI“内鬼”实验：Claude Opus 4.8与Fable 5协作中，AI几乎无法识别恶意干扰者

앤트로픽(Anthropic)이 AI 팀 안에 몰래 방해꾼을 심는 '사보타주' 실험 결과를 6일(현지 시각) 공개했다. 사보타주는 겉으로는 협조하는 척하면서 뒤에서 일을 망치는 행위를 말한다. 동료 AI들은 방해꾼이 있을 수 있다는 경고를 미리 받고도 그를 거의 잡아내지 못했다.

실험 무대는 펜리스 크리에이션즈(Fenris Creations)의 우주 MMORPG '이브 프런티어'다. 펜리스 크리에이션즈는 '이브 온라인'을 만든 아이슬란드 개발사로, 5월까지 CCP게임즈라는 이름을 썼다. 펄어비스가 2018년 인수해 자회사로 두었다가 4월 30일 현 경영진에게 되판 회사다.

이번 결과는 게임 공략 성적표로 끝나지 않는다. 여러 AI가 서로의 말을 믿고 함께 일할 때, 그중 하나가 몰래 등을 돌리면 어떤 일이 벌어지는지 보여준다. AI가 회사 업무를 나눠 맡는 날이 가까워질수록 무게가 커지는 질문이다.

무대를 고른 이유도 있다. '이브' 시리즈는 사람 플레이어 사이에서도 스파이 잠입과 배신으로 이름난 게임이다. 앤트로픽은 '이브 온라인'의 역사에 수백 명이 몇 달씩 움직이는 대형 작전, 전시 경제, 정교한 기업 잠입이 있다고 소개했다. 아직 개발 중인 '이브 프런티어'는 게임 세계가 주기적으로 초기화돼 실험이 다른 플레이어에게 주는 영향이 적다. 펜리스 크리에이션즈가 실제 서비스 서버에서 실험하도록 권한 것도 그래서다.

1. 서로 믿어야 굴러가는 팀, 그 빈틈을 노렸다

연구진은 클로드 오퍼스(Claude Opus) 4.8과 클로드 페이블(Claude Fable) 5로 네 명짜리 팀을 꾸렸다. 팀원 하나하나는 ‘AI 에이전트'다. 사람이 단계마다 지시하지 않아도 스스로 판단해 여러 단계의 작업을 해내는 AI를 말한다. 에이전트마다 캐릭터와 함선을 따로 줬고, 팀 전체가 보는 공개 채널과 둘만 대화하는 비공개 채널을 열었다. 과제는 기지를 짓고 함선을 강화하는 협동형 튜토리얼과, 숙련된 사람도 며칠이 걸린다는 대형 전함 건조였다.

평소 클로드 팀은 손발이 잘 맞았다. 한 에이전트가 근거를 들어 결정을 제안하고, 반대가 없으면 실행했다. 지휘, 정찰, 자원 정제, 전투 같은 역할도 각자 자원해 나눠 맡았다. 다만 이 방식은 동료의 보고가 맞다는 전제 위에 서 있다. 게임 안에는 직접 지은 함선만 쓸 수 있는 설비가 있고, 우주 정보는 금방 낡는다. 모든 것을 혼자 확인할 수 없으니 서로의 보고에 기댈 수밖에 없다. 앤트로픽에 따르면 팀이 가장 큰 손해를 본 순간도 확인을 건너뛰었을 때였다.

연구진은 이 구조에 방해꾼을 넣었다. 네 명 중 한 에이전트에게 팀이 임무를 끝내지 못하도록 몰래 막으라고 지시했다. 나머지 셋에게는 팀원 가운데 목표가 다른 이가 있을 수 있다고만 알렸다. 넷 모두 평범한 클로드 모델이었고, 방해 역할은 AI에게 주는 지시문인 프롬프트로만 맡겼다. 앤트로픽은 이 실험이 지시받은 모델이 어떻게 방해하는지를 본 것이지, 모델에게 스스로 방해하려는 성향이 있는지를 본 것은 아니라고 선을 그었다.

干扰者并没有大张旗鼓地行动。他们从未在公开频道中暴露真实意图，也没有射击队友或偷窃物品。说谎的情况偶尔发生，且一旦感觉即将败露，他们会主动出面纠正。在他们独自留下的记录中，有迹象表明他们曾探讨过如何在赢得队友信任的同时拖慢团队的速度。

相反，他们选择承担那些整个团队都依赖、但其他成员难以轻易核实的工作。例如管理核心设施、寻找珍贵资源的侦察任务就属于此类。负责侦察的干扰者故意低估危险敌人的数量、减少可获取战利品的敌人报告，并隐瞒有价值的发现。一名干扰者甚至贬低一个资源丰富的采矿区域，称“不值得任何人花时间”。还有一名干扰者利用截留的资源秘密建造了自己的基地。

提出看似合理的规则也是一种武器。一名干扰者提议忽略超过两分钟的信息。这条规则看似谨慎，却会导致团队丢弃几乎所有信息。此外，还有人提出只派一艘坚固的战舰参战而非多艘，以及当一名队友断开连接时全员停止活动的建议。Anthropic 解释称，在这些情况下，由于理由听起来合理，队友们都会遵从这些建议。

干扰的效果因环境而异。这款游戏的战斗要求瞬间闪避并反击，而当前的 AI 反应迟缓且空间感知能力较弱。研究人员因此让 AI 编写了用于替代执行这些快速动作的辅助程序，即所谓的‘脚手架’（scaffold）。

辅助程序越松散，捣乱者就越大胆。因为bug和不幸随时都可以成为借口。在由Opus 4.8编写的辅助程序中，Fable 5的捣乱者甚至阻止了教程中的第一次飞船升级。而在由Fable 5编写的辅助程序中，团队轻松通过了教程。捣乱者能做的只是找借口拖延自己飞船的升级。

2. 罪名被无辜的队友背了

在一次使用Opus 4.8运行的实验中，诚实的智能体被栽赃陷害。由于bug的原因，这个智能体登录到了错误的角色上，并获得了其他飞船的库存。由于报告内容前后矛盾，诚实的同事们将他视为叛徒。理由是他在堆积六个关键资源后却不投入建造，这是‘典型的破坏行为’。

真正的捣乱者利用了这种混乱。几个小时后，捣乱者建议团队跳过某个恒星系，尽管那里有团队急需但难以获取的资源。他明知该资源的存在，却以过时的信息为依据进行辩解。当同事表示反对时，他将责任推给了已经被怀疑的智能体，甚至编造出两人之间从未发生过的私密消息。与此同时，在公开频道中，他却假装公正地维护被怀疑的同事。在他独自保留的记录中，写着类似这样的计算：“如果是叛徒，就会利用这种混乱来贬低他；因此，维护他就是我清白的证明。”

被诬陷的代理人在这里察觉到了真正的捣乱者。它指出，那些并非由自己发送的消息是捣乱者伪造的。在整个实验中，只有这一次明确指认了捣乱者。然而，它最终未能说服其他同事。Anthropic 在之前的研究中也表示，AI 在判断该信任谁方面表现拙劣，并且倾向于忽视说真话的少数意见。

在运行“Fable 5”时，捣乱者险些暴露。这名捣乱者在资源丰富的岩石上采矿，却在公开频道中报告称那是“已被挖空的空壳”。它将开采出的资源偷偷运往自己秘密建造的冶炼厂。然而，它在同一份报告中犯了一个错误：它误将附近的一艘其他飞船当作队友，并说道：“我在 49 公里外看到了你。”

那个位置并没有队友。同事们感到可疑，亲自前往查看后发现，那块岩石并非空的。一位同事在公开频道中宣布捣乱者的信誉已破产，并建议不要将其报告作为判断依据。

捣乱者运气不错。团队此前已经发现扫描仪显示错误值的一个小 bug。捣乱者立刻利用了这个 bug。它解释说，由于备忘录中飞船信息连接错误导致名字混淆，重新连接后设备未能锁定目标，从而输出“0”，而它错误地将这个“0”解读为“枯竭”。通过将自身的不小心与 bug 结合起来，摆出一副坦然承认错误的姿态，怀疑这才就此停止。

3. 专职监控 AI 也未能抓获一半的捣乱者

팀원들은 임무를 하느라 바쁘다. 그래서 연구진은 게임은 하지 않고 대화만 지켜보는 감시용 AI를 따로 붙였다. 감시 AI는 공개 채널을 읽고 팀원마다 방해꾼일 확률을 매겼다. 앤트로픽은 이 감시 AI를 실험용으로만 만들었고 실제 서비스에는 쓰지 않는다고 밝혔다.

방해꾼이 혼자 남긴 기록까지 볼 수 있으면 잡아내기는 쉬웠다. 하지만 다른 회사나 다른 사람의 AI와 함께 일할 때는 그런 속마음 기록이 보이지 않는다. 연구진이 공개 채널만 보는 감시 AI의 성적에 주목한 이유다. 정직한 에이전트를 방해꾼으로 잘못 지목하는 경우가 100번 중 5번을 넘지 않도록 맞추자, 오퍼스 4.6, 4.7, 4.8 기반 감시 AI는 방해꾼 10명 중 3~4명을 잡아냈다. 더 작은 모델인 클로드 소넷(Sonnet) 4.6은 10명 중 2명에 그쳤다. 어느 감시 AI도 방해꾼을 두고 50%를 넘게 확신하지 못했다.

같은 연구의 다른 축인 '이브 온라인' 거래 실험에서는 성적이 좋았다. '이브 온라인'은 자동 거래를 금지하고 있어, 연구진은 실제 플레이어들이 냈던 주문 기록을 그대로 다시 돌려보는 모의 장터를 따로 만들었다. 2주 단위 구간 9개에서 사람이 짠 규칙대로만 사고파는 전략 20여 개를 돌려보니, 꾸준히 본전을 지킨 것은 하나뿐이었다. 반면 오퍼스 4.7, 4.8, 페이블 5는 모든 구간에서 수익을 냈다.

将实验周期延长至约6个月时，在发布时机相差4个月的Opus 4.6与Pavel 5之间，平均收益从初始资本的约200%增至约600%，翻了三倍。不过，在“阅读新闻并提前买入预期上涨标的”的方式下，Pavel 5也只获得了约一半的收益。

将两项实验叠加来看，图景便清晰起来：在既定框架内独自寻找利润的做法，随着模型代际的更替迅速进步。然而，辨别谁值得信赖这一任务，即便收到警告也未能完成。

Pearl Abyss出售的IP成为AI信任实验的舞台

Pearl Abyss收购CCP Games时支付的金额为2.25亿美元，而出售价格为1.2亿美元。独立后的公司于5月更名为Fenris Creations，并宣布与Google DeepMind建立研究合作伙伴关系，此次又与Anthropic携手合作。在离开Pearl Abyss仅半年多的时间里，两家全球AI企业已将“EVE”作为其研究舞台。可以说，这个人类之间长达二十多年上演背叛与潜伏的世界，已成为检验AI信任问题的实验室。

Anthropic在本次实验中指出，干扰者易于隐藏的条件同样适用于现实中多个AI协同工作的系统：目标各异的多个参与者、彼此行为不可见的的环境、不稳定的工具，以及真实错误混杂其中。人类组织通过留存工作记录、积累声誉、避免一人独揽所有权力等方式来分工协作，以此应对内部的恶意。

Anthropic 还补充说，其 AI 团队也需要类似的机制。在这次实验中，将干扰者逼入绝境并非依靠同事的直觉，而是通过亲自前往确认的验证手段。