NVIDIA 刚刚发布了四个开放世界模型，它们能响应控制指令，而不仅仅是生成视频。

这四个模型均基于 Cosmos 3 Nano（160亿参数）进行后训练。以下是每个模型的功能：

→ Transfer-Auto
在多达11个摄像头（包括鱼眼镜头）以及联合 RGB 和 LiDAR 数据上生成同步视频。你可以调整天气、光照和一天中的时间以扩充训练数据。
→ Sim-Auto
Transfer-Auto 的流式版本。它以小块形式输出摄像头和 LiDAR 数据，每个块仅需4次去噪步骤。这使得生成长达交互式的 rollout 成为可能。

→ Sim-Transfer
从物理模拟器中获取深度图、分割图、边缘图和模糊图，并将其转化为照片级真实的视频。物理模拟仍由模拟器负责，该模型仅负责渲染画面。
→ Sim-Bimanual
根据双臂机器人（YAM 或 AgiBot）的动作预测下一帧。你可以使用策略或操纵杆来驱动它。

最有趣的部分在于它们如何处理累积误差。
在交互式世界模型中，一个略微预测错误的对象会成为下一帧的上下文，导致错误像滚雪球一样扩大。因此，训练配方包含4个阶段，在最后阶段的自我强制（self-forcing）中，模型从其自身生成的历史中学习。

权重是开放的，OpenMDW 1.1 许可证允许商业使用。
NVIDIA 公开表示，目前仍有未解决的重大问题：这些模型可以在何处被信任用于训练和评估策略？这将决定它们的实际用途有多大。