World Labs 发布 Atlas 实时演示 Frameboy 及场景构建工具 Viewfinder

两个月前，我们推出了 Atlas，这是一种自回归世界模型，能够以像素级相机控制逐帧生成画面。

今天，我们发布一项研究预览，让你能够通过 Atlas 使用 Frameboy 实时探索世界。Frameboy 是一个演示，在你控制相机时，它以最高 15 fps 的速度将云端 GPU 渲染的帧流式传输到你的浏览器。Frameboy 运行的是 Atlas 的一个变体，该变体经过高度优化，在保持出色的生成式新视角合成能力的同时，实现尽可能最快、最高效的推理。我们还将这一实时功能集成到了 Viewfinder 中。Viewfinder 是一个 Web 应用，让你能够用 Atlas 逐帧构建自己的场景，然后通过流式 Frameboy 叠加层实时探索这些场景。

为什么速度很重要

Atlas 是一个世界模型，可用于探索由单张图像定义的想象 3D 世界，或导航从少数不同视角捕获的真实世界环境。借助 Atlas，您可以探索著名地标、为电影拍摄侦察虚拟视角、检查施工现场的进度、完善 3D 游戏关卡的概念设计，或模拟机器人导航的环境。

影响用户与 Atlas 交互方式的一个关键因素是速度。如果用户必须等待几十秒甚至几分钟才能看到 Atlas 生成的视频，这会迫使他们以谨慎和系统化的方式构建场景并规划摄像机路径，从而限制他们的迭代周期，并影响他们聚焦于理想结果的能力。

相比之下，如果 Atlas 能够以更具互动性的速率生成输出，用户就可以快速且迭代地对输入进行调整。当“坏主意”的成本接近于零时，就不存在坏主意——以前被视为昂贵错误或失误的情况，现在仅仅变成了探索过程。

使用缓慢的生成模型进行手动迭代需要谨慎且深思熟虑的提示词设计，这会导致较高的认知负荷。相比之下，与实时模型交互可以实现快速、直观的探索。

一旦延迟和成本降低到足够低的水平，用户甚至不再感知到离散的“生成”行为——在场景导航过程中，模型可以持续不断地流式传输帧。在围绕 Atlas 的实时变体构建初始原型后，我们意识到以这种方式与模型交互会产生一种与手动触发帧生成完全不同的体验。

Frameboy：Atlas 的实时应用

去年，我们发布了RTFM的研究预览版，这是一个高效且轻量级的帧生成模型。Atlas 借鉴了 RTFM 的概念并将其规模化，因此我们受此启发，以这种熟悉的形态重新制作了一个演示版本，比之前更大、更好。

与 RTFM 相比，Atlas 是一个规模更大的模型，使用了数量级更多的数据进行训练。RTFM 主要设计用于在现有的一组视角之间进行插值，而 Atlas 能够从零开始生成场景，仅需极少的上下文信息，例如单张输入图像或文本描述。

这些场景中的每一个都源自单张输入图像——Atlas 生成了一组额外的视角以塑造场景的其余部分，并将它们置于 Frameboy 的空间上下文中，使我们能够进行交互式探索。

Atlas 还保留并改进了 RTFM 从一组图像中合成新视角的能力。这意味着你可以使用 Frameboy 演示来浏览真实世界的场景，例如这些著名地标。

通过使用真实世界地点的多视角捕捉作为输入，我们可以重新审视这些可识别的场景。

取景器：构建并探索你自己的世界

我们设想这样一个未来：像 Atlas 这样的模型能够作为强大的生成式渲染器，从直观、易于指定的输入（例如一组图像）出发，交互式地构建并可视化丰富而复杂的三维世界。为展示这一愿景，我们还将这一实时能力作为流式叠加渲染模式集成到我们的 Web 应用 Viewfinder 中，该应用对 Atlas 进行了封装。

（Viewfinder 目前处于封闭测试阶段，可供测试；你可以在此加入我们的等候名单。）

在 Viewfinder 中搭建的任何场景，现在都可以作为流式实时 Frameboy 会话的输入。

Frameboy 让用户可以探索一份精选的场景列表，而 Viewfinder 则更进一步：它允许用户基于自己的输入逐帧构建场景，在其中四处浏览，并像使用虚拟相机一样，从不同相机角度生成其世界的 3D 一致视图。每个新帧都由 Atlas 生成，同时包含颜色和深度，以帮助可视化正在创建的 3D 空间。当用户准备就绪后，他们可以触发 Frameboy 叠加层，在探索过程中流式传输生成的帧。

Frameboy 目前必须在云端的高性能 GPU 服务器上运行，与本地渲染方法相比成本并不低廉。然而，如果历史可以作为任何指示，那么起步缓慢且昂贵的技术会随着硬件和软件的发展以满足新算法的需求而变得快速且廉价。我们很兴奋于继续探索这项技术的潜力，并推动我们模型的未来迭代所能实现的可能性极限。