AI 基准测试已趋于饱和。3D 游戏是新的测试标准。
AI Benchmarks Are Saturated. 3D Games Are the New Test
大多数 AI 基准测试已经饱和。那些让模型读取问题并写出答案的静态测试基准，如今全部挤在顶端，有些甚至已被整体淘汰。Vals.ai，一家 2024 年才成立的公司，已经将其中的 17 项归档。这就是该领域发展之快的写照。静态测试已无法捕捉真正的发展飞跃正在发生的地方：在交互式世界中自主行动的代理，尤其是 3D 世界。
以下是一些饱和基准测试的例子。它们有什么共同点？它们都只有一个问题和一个答案，是简单的测试。其中许多过去对模型来说很难，但如今已不再是挑战。
- MMLU-Pro（涵盖 14 个学科的研究生水平题目，10 选项多选题）：89.8%，Gemini 3 Pro Preview（2025 年 12 月）。现已标记为 Legacy，此后无新模型得分。来源：Artificial Analysis
- GPQA Diamond（博士级科学问题，非简单搜索可得，多选题）：96.3%，GPT-6 Astra（2026 年 10 月）。来源：Artificial Analysis
- ProofBench（机器验证的数学证明，研究生水平，文本输入，证明输出）：100%，四模型并列第一，包括 Claude Opus 5.5（2026 年 10 月）。来源：Vals.ai
- IOI（奥赛级竞赛编程，题目输入，代码输出）：100%，Gemini 4 Argon 和 GPT-6 Astra（2026 年 10 月）。来源：Vals.ai
- BrowseComp（在网络上查找难以定位的事实，输入问题，输出简短答案）：91.5%，GPT-6 Astra（自报数据，2026年10月）。前 5 名差距均在 ~1 个百分点以内。来源：LLM Stats
- SWE-bench Verified（修复 GitHub 项目中的 bug，输入 bug 报告，输出代码修复）：80.9%，随后被 OpenAI 退役（2026年2月）。来源：OpenAI
然而，交互式基准测试则是另一回事。在那里，我们才刚刚开始看到模型之间的真实差异。过去几个月我们所看到的进展尤其令人惊叹。
理解三维世界与理解真实世界有许多共通之处，这正是众多实验室和初创公司致力于研究它的原因（这也使其对推动机器人技术进步具有高度相关性）。它是 AI 面临的下一个重大关卡。我们发现，3D 游戏能极为出色地展现这一进展，因此，这些基准测试对我们以及其他科技初创公司而言都更加重要。
我们构建并推出了 Game Gym，现已上线于 evals.nunu.ai，用于追踪这一进展。但我们实际上在衡量什么？这很大程度上取决于具体的游戏，因此我们首发上线了 11 款游戏。
游戏衡量什么
最近，我们自己的一个基准测试已经饱和，我们让 AI 智能体去游玩《宝可梦 绿宝石》。这是一款 2D 回合制游戏，我们测试的每一个模型都进入了名人堂。即便如此，它仍然让我们收获良多：
2D 游戏
- 长时程记忆、规划与学习：模型必须记住十小时前的信息才能在此刻采取行动。比如获取一个道具并在很久之后使用它（例如《宝可梦 绿宝石》中的大师球）。过去几年，我们注意到《宝可梦 绿宝石》的性能提升与编码性能的提升相一致，这在一定程度上归功于长时程规划能力的改进。这包括学习，而不仅仅是回忆（回忆指调取模型在训练中已经吸收的内容。学习指根据眼前信息推导出新的东西）。
- 空间推理：理解地图比屏幕更大（它存在于其视野之外），并在每次移动后追踪自己所处的位置。一种赋予模型的本体感觉。
- 从战略失误中恢复：在宝可梦中输掉道馆战、计划失误，或在二维地图中迷路。较小的模型过去常常陷入"死亡螺旋"，尤其是当它们不被允许停止时。
- 效率：如果一个模型完成了一项任务，它的效率如何？它使用了哪些方法来完成任务，总成本是多少？
- 行为与个性：同一模型会根据提示词的不同而表现出不同的行为，某些行为方式更适合特定的任务。
3D 游戏将上述每一项都推向了更深处，并增添了更多：
- 从 3D 失败中恢复：撞墙、无法理解自己在 3D 空间中的位置，或者在 Minecraft 中走出悬崖而丢失物品。
- 持续移动：判断速度和距离，以确定该按住按键多久、朝哪个方向。
- 实时压力：在射击、竞速等快节奏游戏中，世界不会停下来等模型思考。
- 不断变化的新界面：每款游戏都有自己的一套，而且随着功能解锁，界面往往会变得更加复杂。
我们自身的经验
很长一段时间以来，每当新模型发布时，我们的产品只有微小的增量变化。我们的框架承担了大部分繁重工作，我们不得不编写深入的提示词，仅仅是为了让AI理解其运行环境。
但是，随着Claude Fable 5、Gemini 4 Argon以及尤其是GPT-6 Astra于2026年9月的发布，我们突然需要知道哪些模型最擅长游戏，以便帮助客户在他们自己的游戏中发现漏洞。在Game Gym之前，我们用一种可以称为"后院基准测试"的方式进行追踪。
Minecraft
每次模型发布后，我们都会要求AI在《我的世界》中建造一座房子。大多数模型不靠写代码作弊就无法完成，而且通常最终只会得到一堆木头，没有真正的建筑结构。
而 Astra 改变了这一切。它从零开始建了一栋房子，布置了家具，甚至在门外挂了灯笼。
https://youtu.be/RQaz6qVx81o
《模拟人生 4》
我们在《模拟人生 4》中看到了同样的情况。
- 2025 年[九/十月]：它能够维持模拟市民的生命，创建一个模拟市民并在实时模式下玩一会儿，主要是 UI 操作。移动镜头很困难，所以我们让镜头固定在房子上方。
- 2026 年 7 月：它能够在地块上四处移动并放置必需品，但仍然会在世界中迷路。在这里，它困在了两个不同地块上照顾模拟市民，而不是把他们带回家。
- 2026年9月，使用Astra：它可以完整游玩游戏。它不借助作弊功能建造房屋，周游世界，处理恋爱和需求，在进一步的测试中让8个Sims存活且没有问题。
为什么会有这样的飞跃？
我们认为这主要是因为越来越多的转向计算机操作。OpenAI 在其发布博客中写道，他们在使用 Astra 时专注于计算机操作，称其为迄今控制浏览器和桌面最强的模型。这一转变在 GPT-5.5 时已经开始，我们在自己的 Pokémon Emerald 基准测试中也看到了这一飞跃（测试框架保持不变，以便准确对比）。独立测试也印证了这一点：Vals.ai 在其计算机操作基准测试 CUA-bench 上将 Astra 列为第 1 名。
Game Gym 时刻到了
所以我们正式搭建了 Game Gym：11 款游戏，选择标准是尽可能覆盖不同的技能。它们大多是人们熟悉的 3D 游戏，这样你可以直观地观察差异，而不是只看一个数字。
- Cities: Skylines（城市建造模拟，3D，自主节奏）：长期规划、同时应对多个系统、密集的菜单操作
- Dark Souls（动作角色扮演，3D，实时）：高难度战斗、时机把握、从反复死亡中总结学习
- DOOM (2016)（第一人称射击，3D，快速实时）：瞄准、反应速度、在压力下穿梭于 3D 空间
- Hogwarts Legacy（开放世界动作角色扮演，3D，实时）：在庞大世界中导航、跟随任务、镜头操控
- Hollow Knight（银河城类平台游戏，2D，实时）：精确的跳跃与节奏把控，记忆地图
- Kerbal Space Program（太空飞行与物理沙盒，3D，自定节奏）：物理、工程、多步骤规划、复杂 UI
- Palworld（开放世界生存与制作，3D，实时）：多目标并行：采集、制作、基地建设
- Poly Bridge（物理益智，2.5D，自定节奏）：空间与工程推理，试错
- Portal（第一人称解谜，3D，基本自定节奏）：空间推理与陌生机制
- Slay the Spire（Roguelike 卡牌构筑，2D，回合制）：纯粹的策略与概率，无时间压力
- TrackMania（竞速、3D、极速实时）：反应速度，慢思考影响最大的环节
目前的成绩
即使是表现最好的模型，平均分也只有 53/100，而上述静态测试中可达到 90–100%。如果给足思考时间，模型表现良好。但当无法暂停、速度成为关键因素时，对智能体来说几乎不可能完成。我们期待未来几年在这一方向上取得进步。
- GPT-6 Astra：52.97 总分，使用 325,564 积分
- GPT-6.1 Sol：34.91 总分，使用 48,303 积分
- Gemini 4 Argon：32.30 总分，使用 43,252 积分
- Claude Opus 5.5：31.68 综合得分，消耗 91,716 积分
- Gemini 3.8 Flash：10.96 综合得分，消耗 23,323 积分
- Claude Haiku 5.5：8.93 综合得分，消耗 12,522 积分
Astra 领先 18 分，但其消耗的积分约为 Sol 的 7 倍。
去探索
Game Gym 诞生于我们多年来的经验积累与数万次运行。在 evals.nunu.ai 上探索每一款游戏和模型。我们会随着新模型发布持续添加。
我们接下来应该测试哪个模型，或者哪个游戏？
来源
来源：nunu.ai · 游戏测试智能体 · nunu.ai