gKev1n· 来源· @GKev1n · X·· 1 天前AI 评分50
正文
花两万美元让模型互相骗,这比又刷一张答题榜有意思多了!!!
Dwarkesh 花了约两万美元 API,让模型玩 Blood on the Clocktower,一共跑了 386 局。他观察到,模型编谎、合作和识破别人说辞的能力都明显变强。跟帖给出 Astra 对 Opus 5.5 约 82% 的胜率,但这只是这套测试设置下的结果。
这种评测有意思,是因为对手会反过来影响你。单道题可以算完交卷,游戏里你前面说过什么,别人会记住、质疑,还会故意给你错误信息。模型不光要想清楚眼前这一轮,还得处理自己之前留下的矛盾,以及别人不断变化的策略。
这跟 Agent 做长任务有一处很像:它不能每一步都只给出一个听起来合理的回答,还得记得前面承诺了什么,遇到新证据后该不该改判断。当然,游戏胜率不能直接当成工作能力,更不能证明它现实里不诚实,毕竟这里的规则本来就允许骗人。
我更想看下一组对照:同样的多轮压力,同样有输赢,但明确禁止撒谎。它发现说实话可能输的时候,还能不能守住规则?那才开始碰到我们把工作交给 Agent 时真正担心的事。
来源:gKev1n · x.com