跳到正文
npaka · AI与游戏开发技术· 来源·· 3 小时前精选AI 评分82

NVIDIA MotionBricks 发布:实时生成游戏角色与机器人动作的AI技术

NVIDIA MotionBricks の概要 - ゲームやロボットの動作をリアルタイム生成するAI

推荐理由

提供了实时生成动作的技术细节与开源入口,便于评估其在游戏和机器人领域的落地潜力。

正文 · AI 翻译

总结了「NVIDIA MotionBricks」的概要。

目次

  1. 1. MotionBricks
  2. 1-1. 什么是MotionBricks
  3. 1-2. 主要特点
  4. 2. MotionBricks的工作原理
  5. 2-1. 从姿态生成动作
  6. 2-2. 动作生成的三个模块
  7. 3. Smart Primitives(智能基元)
  8. 3-1. Smart Locomotion(移动)
  9. 3-2. Smart Objects(物体操作)
  10. 4. MotionBricks 的应用案例

1. MotionBricks

1-1. MotionBricks是什么

「MotionBricks」是由NVIDIA开发的AI技术,能够实时生成游戏角色和人形机器人的动作。该研究成果于SIGGRAPH 2026发表,并于2026年10月公开了源代码和预训练模型。

在传统游戏开发中,需要单独准备步行、奔跑、跳跃等动作并进行切换。而在MotionBricks中,只需指定当前姿势和目标姿势,AI即可生成两者之间自然的动作。

此外,它还支持移动与物体操作相结合的复杂动作。

1-2. 主要特点

MotionBricks的主要特点如下。

・实时生成:最高15,000 FPS等效、约2ms的推理延迟
・大规模动作学习:使用超过35万条运动片段进行训练
・灵活的动作控制:可指定速度、方向、风格和目标姿态
・动作组合:可将移动与物体操作相结合
・零样本支持:无需额外训练即可应对新的动作场景
・机器人应用:在Unitree G1上验证了实际运行效果

15,000 FPS并非指屏幕渲染帧率,而是动作生成的处理性能。

2. MotionBricks 的工作原理

2-1. 从姿态生成动作

MotionBricks 利用了一种名为“Motion In-betweening(动作插值)”的技术,由AI自动补全指定姿态之间的动作。

输入和输出如下。

・输入

・Context Pose(上下文姿态):最近4个姿势
・Target Pose(目标姿态):希望到达的1至4个姿势

・输出

・Generated Motion(生成动作):从当前到目标姿态的连续动作

例如,指定站立姿势和坐姿时,会生成直至就座的动作。

一次生成的动作时长约为0.6至1.9秒。通过将生成结果用作下一次输入,可以连续生成长达更长时间的动作。

2-2. 动作生成的三个模块

MotionBricks通过以下三个模块生成动作:

・Root Module:预测动作时间和全身移动路径
・Pose Module:生成沿移动路径的身体动作
・Decoder:将生成结果转换为关节姿态

通过将全身移动与四肢运动分开处理,实现自然动作的高速生成。

3. Smart Primitives

「Smart Primitives」是一种将移动和物体操作视为可复用动作部件的机制。无需单独训练专用模型,即可组合出各种动作。

3-1. Smart Locomotion(移动)

「Smart Locomotion」是控制角色移动的功能。

主要可以指定以下条件:

・速度:步行、奔跑、停止
・方向:前进、后退、横向移动
・朝向:面向与行进方向不同的方向
・风格:正常行走、僵尸步态、受伤行走等

通过组合这些条件,可以生成适应各种情况的自然移动,例如在奔跑中改变方向。

3-2. Smart Objects(物体操作)

「Smart Objects」是控制角色与物体交互的功能。

官方演示中介绍了以下动作:

・Pick Up:拾起物体
・Sit:坐在椅子上
・Jump Over:跳过障碍物
・Fall:摔倒

例如,根据椅子的位置设置就座姿势,即可生成前往该位置的相应动作。

结合 Smart Locomotion,还可以构建诸如“走到椅子旁、转身坐下”等一系列连贯动作。

4. MotionBricks 的应用示例

4-1. ゲームキャラクターの動作生成

MotionBricksは、Unreal Engine 5を使ったゲームキャラクターの動作生成で実証されています。
公式デモでは、歩行、走行、ジャンプ、着席などを連続して実行しています。
また、公開されたPython実装には、動作の部品を編集する「Smart Primitive Editor」と、シーンを編集する「Scene Editor」も用意されています。

4-2. ヒューマノイドロボットの制御

MotionBricksは、ヒューマノイドロボット「Unitree G1」での実機動作も実証されています。
NVIDIAの「GR00T Whole-Body Control」にも組み込まれ、動作生成を担当しています。
ただし、生成した動作を実機で実行するには、バランス維持や関節制限などを考慮した制御も必要です。

5. MotionBricks の実行環境

5-1. 公開モデル

截至2026年10月,主要公开了以下两种类型的预训练模型。

・MotionBricks-SOMA-RP-v1:面向人体模型“SOMA”
・MotionBricks-G1-RP-v1:面向人形机器人“Unitree G1”

两者均支持30 FPS的动作生成。

用于推理的ONNX模型在GitHub上公开,预训练检查点在Hugging Face上公开。代码和模型的许可证不同。

5-2. 動作環境

官方实现的主要运行环境如下:

・OS:Windows / Linux(x86-64)
・GPU:NVIDIA GPU
・推理引擎:TensorRT
・GPU处理:NVIDIA Warp
・物理模拟相关:NVIDIA Newton
・开发语言:Python

公式演示已在RTX 4090上验证运行。其他NVIDIA GPU也可能支持,但需要确认兼容环境和性能表现。

5. 尝试MotionBricks的演示

(1) 让AI代理(如Codex等)通过Colab CLI为MotionBricks设置演示环境。

希望使用Colab CLI运行NVIDIA MotionBricks的演示
并在浏览器中操作

请告知完成设置所需的时间

设置已完成。耗时约12分钟(从10:04到10:16,包含首次转换和运行确认)。

在浏览器中操作

正在 Colab 的 NVIDIA L4 上运行官方 SOMA 演示。已确认步行操作,显示帧率约为14 FPS。

请在画面内点击以进行操作。
WASD:移动
Space+移动:奔跑
I:交互/站起
O / P:切换移动模式
[:切换步行风格

使用后执行 [停止文件](/Users/npaka/Documents/post/work/stop-motionbricks.command),即可释放 Colab GPU。

(2) 動作確認。

(3) 停止 Colab。

请停止 Colab。

来源:npaka · AI与游戏开发技术 · note.com