跳到正文
Ruixing(Rising) Zhang· 来源· @xing_rui12683 · X·· 9 小时前AI 评分49
正文 · AI 翻译

Genie 4 刚刚发布。而且它强调了代码世界模型作为未来的研究方向。我在几天前就写了一篇关于代码世界模型的博客:

让视频生成模型做它们最擅长的事:关于代码世界模型崛起的思考

过去几天,全球多个团队发布了基于代码的世界/视频模型。

一个不完全的列表包括:
- MirroS @MirroS_ai 的 AgentGarten,
- NVIDIA SANA 团队 @xieenze_jr 的 StreamRender-H3,
- Microsoft @guocheng_qian 的 Code Video Model,
- Tripo @huanngzh 的 Eden Live,
- Skywork @Skywork_ai 的 Matrix Game 4.0

就我个人而言,这种方法与我对世界模型应有的样子的愿景非常契合。

大致思路如下:

用代码来维护世界的状态和规则,生成场景的粗略草稿(例如语义地图),然后让视频生成模型将该草稿转化为逼真视频。

优势相当明显:

1)视频模型不再需要维护复杂的世界状态和记忆。

世界的状态和历史被显式地存储在代码中。

物体在哪里、经历过什么、发生了怎样的变化,甚至游戏中能量值和装备等信息,都可以通过代码来维护。

视频模型不再需要仅凭之前生成的帧来记忆和推断一切。

2)视频模型不再需要从头学习所有复杂的物理定律。

许多物理定律,例如重力,已经可以在代码中建模。

这意味着如果我们想把世界搬到另一个星球,甚至创造一个完全虚构的宇宙,我们只需修改相应的物理参数和模拟规则即可构建新环境。

3)切换视角变得容易得多。

如果我们想切换相机角度,只需在代码中修改相机参数,生成一份新的草稿,然后交给视频模型渲染即可。

由于底层的几何和物体状态是共享的,在不同视角之间保持一致性也变得容易得多。

4)扩展世界变成了让 Agent 写代码的问题。

例如,如果我们想在现有城市旁边添加一个新社区,我们只需让 Agent 编写相应的场景描述、物体和交互逻辑,然后把所有东西交给视频模型渲染。

所以,对我来说,代码世界模型似乎是一种更好的方法。

但这里还有另一个问题:

我们能否完全摆脱视频生成模型,仅依赖代码和传统渲染器?

我认为答案显然是否定的。

任何上过计算机图形学入门课程的人大概都知道渲染火焰有多难。

火焰、烟雾、复杂光照和材质效果,历来是计算机图形学中最具挑战性的问题之一。

即便在今天,渲染逼真的火焰仍然远非一个完全解决好的问题。

归根结底,传统渲染器仍然只是渲染器。

从本质上说,传统渲染严重依赖人类显式设计的模型和知识。

但 *The Bitter Lesson* 告诉了我们一些重要的事情:

能有效利用计算和数据进行学习的方法,往往比不断依赖复杂的人工规则的方法具有更大的长期潜力。

我们应该用更具可扩展性的方式来解决这个问题。

与其为每种可能的火焰类型手动设计复杂的渲染规则,为什么不直接从海量真实世界视频数据中学习火焰应该是什么样子呢?

对我来说,那感觉是一种自然得多的方法。

这也是为什么我认为当前代码世界模型的方向是一个充满希望的方向。

要求视频生成模型去处理整个世界的记忆、物理定律和状态演化,对当今大多数视频模型来说确实要求太高了。

这样去想,就更容易理解为什么这么多团队最近开始探索代码世界模型。

也许代码模型本身最终将引领我们走向 AGI。

但视频生成模型仍然能帮助我们看到一个更好的世界。

顺便说一下,所有最好的代码世界模型都在 reactor @reactorworld 上。我们已经在 Reactor-Cookbook 中收录了其中大部分。

来源:Ruixing(Rising) Zhang · x.com