Michael Guo· 来源· @Michaelzsguo · X·· 17 小时前AI 评分32
正文
著名播客主持人 Dwarkesh Patel 闲着没事,居然自己动手做了个大模型 Eval。这个 Eval 很有意思,尤其是它揭示了不同模型的“性格”特征。
在《血染钟楼》(Blood on the Clocktower)里,坏人阵营的目标就是靠欺骗取胜。GPT-6 Astra 扮演恶魔时,会主动指认自己的队友,用一次真实的指认换取好人接下来几轮的信任。这说明它不仅能预判别人会如何根据证据更新判断,还懂得利用这种心理。换到好人阵营,GPT-6.1 又会反过来推断,对手有没有动过手脚,让一条看似可靠的证据失效。
Claude Opus 5.5 当坏人时也很会设局。有一局,好人已经找到了真正的恶魔,Claude 扮演的爪牙却跟着投票处决了他,因为她知道自己会接任恶魔。她还提前说服好人,如果处决后游戏还没结束,下一轮就投自称圣徒的玩家。好人果然照做了,而处决真正的圣徒会让坏人直接获胜。
但在与 GPT-6.1 互换阵营的两局里,Claude 当好人时却更容易按线索的表面意思下结论。看到猎手开枪后对方没死,它就排除了嫌疑。GPT 则把这一枪和前几轮的对话结合起来,推断坏人可能已经猜到谁是猎手,并提前下毒让技能失效。
很有意思的反差:Claude 能设计一个让别人误读线索的局,但在这场对照中,GPT 更擅长识破对手布下的局。
Dwarkesh 不仅花了 20,000 美元开发这个 Eval,还每月自掏腰包 2,000 美元,让大家免费玩https://play.clocktowerbench.com/。整个评测 Harness 也开源了https://github.com/dwarkeshsp/clocktower。
来源:Michael Guo · x.com