AI 为什么越练越不会玩？120组实验拆解跨 游戏 泛化的边界

一个 270 亿参数的模型，用 Minecraft 数据继续训练后，在 Minecraft 任务集 MCU 上拿到 63.3% 的平均成功率。换到 GameWorld，它的分数却从训练前的 29.3 降到了 12.5。

“越练越不会玩”发生在换游戏之后。熟悉的世界里，这个模型进步明显；距离训练环境较远的世界里，它丢掉了一部分原有能力。两种变化出现在同一个 27B-S1 模型上。

我认为，这项研究最值得讨论的，是训练投入究竟换来了哪一种能力：把已有任务做熟，还是把技能带到新的环境？对准备增加数据或扩大模型的团队，这个区别直接影响下一笔投入。

米哈游崩坏 AI 团队与清华大学人工智能学院、国科大、港大 MMLab、NUS、北大的研究者，在《Scaling in Games: Continued Pre-Training for Embodied Agents in Diverse Virtual Worlds》中做了 120 组配置。整套实验使用一个训练随机种子，消耗约 45,000 H200 GPU 小时，分别考察数据量、数据多样性和模型规模。

他们得到的答案有明确的适用范围：三条轴都能带来收益，但收益能走多远，取决于训练世界与目标世界有多大差别。下文把这种差别简称为“世界距离”。这是帮助理解论文三级评测的说法，论文没有给出一个可直接计算的通用距离指标。

为什么游戏适合检验具身智能的泛化？

人换一款游戏，通常能带走一部分操作经验。画面、键位和菜单需要重新适应，观察、移动、交互这套经验却能帮助人更快上手。智能体能带走多少，必须靠实验回答。

这里的具身智能，可以理解成一个交互闭环：模型看当前画面，输出键鼠操作，环境发生变化，再根据新画面决定下一步。模型既要理解画面，也要让动作产生预期结果。

现实场景共享重力、碰撞、遮挡等物理规律，这些规律为迁移提供了共同基础。虚拟世界的变化更彻底：视觉风格、动力学、控制接口和任务目标，都可以换一套。某个世界里的“向前走”，到了另一个世界，可能连视角和动作含义都变了。

论文把评测分成三级。Minecraft 的验证损失，以及 MCU、ViZDoom 的游戏成绩，属于训练语料覆盖的世界；OmniGameArena（OGA）是没训练过但相关的世界；GameWorld 是没训练过、差异更远的世界，包含更多 2D 或 2.5D 视角与不同的控制方式。

这个分层让“泛化”变得具体。跨到另一个相似的三维游戏，与跨到视角、动作规则都明显不同的游戏，难度和所需能力并不相同。只看一个总平均分，会把这两件事混在一起。

已有研究中的单游戏专家模型，适合回答在一个世界里能做到多好。多个变量同时改变的实验，则较难分清收益来自数据、配比还是容量。作者希望用同一套对照网格，把各条轴的作用分别显出来。

120组实验，具体控制了什么？

论文使用继续预训练（CPT）：在已经预训练过的模型上，继续学习游戏画面和操作序列。模型接收画面帧，学习对应的键鼠动作，不同游戏的数据按照预定比例混合。

120 个条件由 20 条 WSD 训练主干承载，每条主干提供 6 个预算位置的 checkpoint。按总成本平均，每条主干约 2,250 H200 GPU 小时；模型尺寸不同，实际训练成本也不同，这个除法只能说明平均量级。

理解混合配方尤其重要。S1 只使用 Minecraft 游戏数据。S2 至 S5 使用固定的非 Minecraft 数据池，包含 124 条源流，对应 79 个世界标签。它们改变 Minecraft 与这批世界的份额，保持非 Minecraft 世界的集合不变。

Minecraft 占比从 S2 的 51.4%，经过 S3 的 27.1% 和 S4 的 2.8%，降到 S5 的 0%。按各世界份额折算的有效世界数 D，从 S2 的 14.5 增至约 60；S5 去掉残余 Minecraft 后约为 58.7。因此，S2 至 S5 主要检验的是配比变得更均衡的影响，不能当作“游戏种类不断增加”的实验。

三条轴各自变化，才有可能回答三个不同的问题：相同配方多喂数据会怎样，相同预算调整配比会怎样，相同数据换更大的模型又会怎样。

对做实验的人，这套设计还有一层价值：训练损失与环境内成功率需要分别记录，训练语料覆盖的环境、相关但未见的环境、差异较远的环境也需要分开报告。这样才知道优化落在了哪一层。

数据量：熟练度持续上升，远距迁移却可能倒退

在训练语料覆盖的环境中，多数据带来的收益很清楚。偏向 Minecraft 的 S1 至 S3 配方，数据预算从 50 小时增加到 1600 小时后，四档模型在 Minecraft 上的验证损失相对下降约 10.4%。模型越来越能预测这类数据里的动作。

到了 GameWorld，27B 模型的趋势相反。五种混合配方下，它的分数都随数据量增加而下降。最突出的 27B-S1，从 base 的 29.3 降到 12.5。这里的 base 指尚未做这轮游戏继续预训练的模型。

五种配方给出一致方向，说明这个现象值得认真解释。不过，整套训练只跑了一个随机种子，无法据此估计换种子后的波动范围。重复训练是否保持相同幅度，还需要额外实验。

一种解释是，早期数据让模型适应跨游戏共享的操作接口，后续数据则让模型更贴近训练世界的局部规律。数据越多，模型越熟悉当前世界；这些细节能否帮助另一个世界，要看二者共享多少结构。

这对产品评测的启发是：如果目标用户的环境接近训练数据，增加同类数据可能继续改善指标；如果目标环境差异明显，就需要同时看分布外的结果。论文展示了“环境内进步与环境外退步可以同时发生”，没有证明所有产品都必然经历这条曲线。

对普通读者，最直接的判断是：一个智能体在熟悉游戏里分数更高，还不足以说明它更会适应新游戏。对技术团队，验证办法就是保留三级评测，在增加预算时同步观察每一级，而非只盯训练损失。

多样性：相关世界受益，远距世界仍有缺口

如果单世界数据让能力变窄，把经验分给更多世界，能补回来多少？

1600 小时预算下，S2 至 S5 的平均 OGA 得分约为 S1 的 2.8 倍。同规模逐组比较，16 个混合配置全部超过单世界配方。ViZDoom 的成绩也整体提高，尽管 DOOM 只占训练混合的一小部分。

这组结果支持了较明确的迁移路径：不同三维游戏中的基本导航、观察和瞄准等操作存在共通结构。固定预算下，把数据份额分得更均衡，能让模型在没见过但相关的世界中获得收益。

GameWorld 上，改善的幅度有限。对于 27B，多游戏配方减轻了相对 base 的退步，却没有把分数恢复到 29.3。S1 是 12.5，S3 是 25.3，差距收窄很多，仍有缺口。

因此，多样性有效的证据与远距泛化不足的证据，可以同时成立。把 OGA 的 2.8 倍提升外推成“任意新游戏都能玩好”，超出了实验支持的范围。

如果目标环境与训练游戏具有相近视角和操作方式，调整数据配比值得验证。目标跨越了这些共通结构，就还需要回答：缺的是新的世界覆盖、不同操作经验，还是与环境交互的反馈？这篇论文没有单独验证这些解决方案。

模型规模：最多节省32倍数据，也可能加重专化

规模带来的一个显著收益，是学习效率。在部分对照里，大模型达到相近表现，最多只需要小模型 1/32 的游戏数据。网格中的 50 小时与 1600 小时，刚好相差 32 倍。

这意味着，在这些比较条件下，增加模型容量可以减少达到目标表现所需的数据量。它没有给出所有任务统一适用的“32 倍折扣”，也没有证明更大模型的总成本一定更低。数据获取、训练和部署成本，需要另算。

另一方面，27B-S1 在 1600 小时时，三个非 Minecraft 基准都低于 base。大模型既能更快学会训练任务，也可能更充分地吸收窄数据中的局限。

MCU 的结果能显示规模在熟悉世界里的收益：

表里的 GameScaling 系列可以沿同一实验设置观察规模趋势。GameWAM 的 50.7% 引自其原论文，使用 MCU Mini、每任务 10 次；本文 GameScaling 使用每任务 5 次。论文附录 B.2 明确说基线协议没有对齐，所以这行只作参照，不能用来作严格的同条件排名。

论文 Table 1 还列出 GameTARS-MoE 的 64.5%。两篇论文对其参数口径写法不同，涉及 2.5B active 与 20B-active MoE，难以直接和 27B 稠密模型比较，这里不把它纳入规模表。

从 0.8B 到 27B，MCU 成功率持续上升；Minecraft 损失与 ViZDoom 则在 9B 之后出现收益递减。规模的效果需要逐项看：哪项任务改善了多少，耗费多少资源，以及远距评测是否付出代价。

两个训练阶段，如何解释这些反差？

作者把观察到的训练过程概括成接口阶段与世界阶段。这个解释把前面的三条实验轴联系起来，也构成了“先学键鼠，再学游戏”的含义。

前约 50 小时是 interface phase，即接口阶段。模型学习键鼠格式、视角控制和基础动作等跨世界可能共享的操作。一个支持证据是，早期连未见游戏的验证损失也低于 base；完全不含 Minecraft 的 S5，在 Minecraft 验证损失上仍能优于 base。

50 小时之后，作者观察到 world phase，即世界阶段。训练继续改善模型对具体世界的适应，包括局部视觉、动作和环境规律。训练损失还在下降，但改善越来越集中在语料内环境与相关环境。

我认为，这个阶段划分是全文最有解释力的部分。它能同时容纳三种现象：27B 加数据后 GameWorld 下降；配比更均衡后，OGA 获益更明显；大模型学习窄数据时，专化的代价可能加重。

但约 50 小时是这组实验的经验分界。作者没有证明每一种模型、数据集和操作接口都在同一时刻切换阶段，也没有用干预实验确认唯一的内部机制。把它当成观察训练曲线的一种解释框架，会更准确。

对工程团队，这个框架提示了一个值得做的比较：保留早期 checkpoint，与后期模型并排测环境内表现和跨环境表现。最终 checkpoint 的训练损失更低，仍需验证它是否更适合目标任务。

实时对局里，9B的优势来自什么？

论文还比较了实时对局。此时模型思考期间，游戏继续运行，推理延迟会进入最终成绩；另一种暂停设置则让环境等待模型决策，两种评测回答的问题不同。

GameScaling-9B-S3 在四基准实时均分上超过了 GPT-5.6-Luna 和 Gemini-3.8-Flash。按项目页 2026 年 11 月 1 日更正后的 ViZDoom 成绩折算，GameScaling-9B-S3 的四项实时均分为 24.1，Gemini-3.8-Flash 为 19.2；ViZDoom 单项分别是 11.5 和 2.8。

更正涉及实时协议。项目页说明，旧 ViZDoom 结果使用会暂停环境的同步流程，只补偿模型预填充和解码时间；更新后的评测让环境持续运行，把截屏、图像传输、预处理、动作处理及录制等端到端成本计入。这里采用更正后的数字。

还有一项不能省略的条件：GameScaling 使用本地 vLLM 服务，前沿模型通过厂商 API 调用。网络往返、推理硬件和部署方式没有对齐。因此，这个比较支持的是特定模型与部署组合在实时任务中的优势，无法单独分离模型能力与服务延迟的贡献。

对落地决策，实时成绩提醒我们把延迟纳入系统评测。领域模型配本地推理，可能在时间敏感的任务里有优势；是否更划算，还要测本地资源成本、并发、延迟和任务完成率。论文并未提供完整的单位成本比较。

缩放律的拟合，在哪一层失效？

论文拟合了训练损失、Minecraft 验证损失和语料内验证损失的缩放关系，用模型规模、数据量与混合配方解释损失变化。这里需要先分清损失曲线与游戏成功率：拟合对象是损失，不能把它直接当成成功率预测公式。

在 Minecraft 与语料内验证损失中，混合配方通过目标世界所占份额 ρ 进入数据项与损失下限项。多样性的作用没有进入 α、β 两个缩放指数，它通过 ρ 的幂项改变有效数据规模与下限，无法仅用一项固定偏移完整描述。

到了 OGA 对应的分布外验证损失，缩放拟合遇到了边界。这里的 OOD，指训练分布之外。数据量指数 β=0.00，规模指数 α=0.03；β 在 97% 的 bootstrap 重采样中触到拟合下界。这个 β 值反映了拟合触底，不能解释成一条已证实的普适定律。

更直接的证据是曲线形状：分布外损失在 50 小时时较低，随后回升，20 条训练主干在 1600 小时的终值都高于 50 小时。用单调下降的幂律描述这段变化，并据此外推更多数据，缺乏支持。

去掉不同配方各自的均值后，缩放律还能解释约 91% 的 Minecraft 损失方差、96% 的语料内方差，分布外只剩约 8%。分布外总体 R²=0.855 看起来较高，但其中很大一部分来自配方之间原本就存在的水平差异。看混合内的变化，更能判断公式是否解释了“继续训练之后发生什么”。

大模型省数据，与远距迁移停滞并不冲突。前者比较达到某种表现需要多少数据，后者考察继续投入后能力能否跨到更远环境。接口阶段学习更快，世界阶段迁移仍受限，是一个与这些结果相容的解释。

缩放律在语料内的作用有实验支撑。对分布外，作者给出的是负对照：这套公式在当前区间内解释力不足。把两者范围标清，比给“缩放有效”或“缩放失效”下一个总判断更有用。

下一笔训练预算，先看目标世界

这组实验只覆盖 50 至 1600 小时、0.8B 至 27B，以及固定世界池下的五种配方。它没有回答更大数量级是否出现新变化，也没有验证一种能可靠缩短世界距离的方法。

如果目标任务接近训练环境，可以把增加数据、调整配比和扩大模型分别做对照；如果目标环境差异很大，就需要把远距评测的退步视为真实成本，而不能让熟悉环境的高分替它作答。

我的判断是，先保留早晚 checkpoint 的三级评测，再决定预算往哪里加。只有知道新增投入改善的是熟练度、近邻迁移还是远距迁移，团队才有依据判断下一轮训练值得继续到什么程度。

参考与延伸阅读

• Scaling in Games · 论文全文与附录
• GameScaling 项目页与实时评测更正
• GameScaling 模型权重
• GameScaling 代码
• 微信公众号版 · AI 越练越差？120 组实验，找到了跨游戏泛化的边界