跳到正文
KC· 来源· @ScarletKc · X·· 15 小时前精选AI 评分68
推荐理由

通过复杂项目实测揭示模型在自主纠错与安全边界上的真实差距,为长任务开发选型提供参考。

正文

AICodeKing 的 KingBench 4 出了 Fable 5.2 的成绩:平均 70%。之前榜首 Opus 5.5 是 57.8%,再往下五个模型彼此差距都在 3.6 分以内,这次一下拉开了 12 分。

KingBench 不是刷题,是六个大项目,每个只给一份详细需求,一次做完,不给反馈也不帮修:Rust 写的 GB/DS/3DS 模拟器、Docker 替代品、3D 房间设计器、类 VIA 的 QMK 键盘改键工具、宝可梦红复刻,还有一个 Rust 后端的 Fitbit 桌面端。

最有意思的是它做事的方式。测试跑在 Mac 上,Mac 原生跑不了 Linux 容器,它就自己下了个 Linux 内核,写了个小虚拟机启动器把 Linux 跑起来,再跑了 159 项端到端测试,这些需求里一个字都没提。做 Fitbit 那题时它先去看了最新文档,发现旧的 Fitbit API 一周前刚停掉,自己改用了 Google Health API。AICodeKing 的说法是,Fable 5.2 对自己很有信心,缺什么就自己写库、写运行时;Opus 5.5 已经很接近了,只是有点低估自己。

3D 房间设计器拿了 9.2,是 KingBench 4 所有单项里的最高分,反射、间接光、家具实时物理都能用。

问题也很明显。Docker 替代品能拉 Docker Hub 的真实镜像,启动一个容器大约 150 毫秒,原版 Docker 要 1.7 秒左右,本来能拿 7.7 分。结果测出恶意镜像可以读到宿主机磁盘上的文件,按规则直接封顶 3 分。能跑和安全是两回事,一次生成的大项目还是得自己审。模拟器那题 3DS 没声音,存档还能读进别的游戏里。无人值守跑的时候,它开了子 agent 并行干活,主会话却没等子 agent 回来就自己结束了,README 里还留着模板占位符。

宝可梦那题它没照搬原作的角色、宝可梦、地图和音乐,而是做了个叫 Kithbound 的原创游戏,选初始伙伴、劲敌、森林、岩石道馆这些流程都在。因为还原度扣了分,最后拿 8.4,排在 Gemini 4 Argon 和 GPT-6 Astra 后面。

实际用的时候有两点要注意。这个成绩是 high effort 跑出来的,但 Claude Code 里 Fable 5.2 默认是 medium,不手动调高就拿不到这个水平。另外按 token 算,Fable 还是 Opus 5.5 的两倍价。

一次成型的分数和日常边看边改的开发不完全是一回事。不过遇到环境限制就自己造工具绕过去,这种能力放到长任务里,差距只会被放大。

来源:KC · x.com