NVIDIA MotionBricks 发布:实时生成游戏角色与机器人动作的AI技术
NVIDIA MotionBricks の概要 - ゲームやロボットの動作をリアルタイム生成するAI
提供了实时生成动作的技术细节与开源入口,便于评估其在游戏和机器人领域的落地潜力。
总结了「NVIDIA MotionBricks」的概要。
目次
- 1. MotionBricks
- 1-1. 什么是MotionBricks
- 1-2. 主要特点
- 2. MotionBricks的工作原理
- 2-1. 从姿态生成动作
- 2-2. 动作生成的三个模块
- 3. Smart Primitives(智能基元)
- 3-1. Smart Locomotion(移动)
- 3-2. Smart Objects(物体操作)
- 4. MotionBricks 的应用案例
1. MotionBricks
1-1. MotionBricks是什么
「MotionBricks」是由NVIDIA开发的AI技术,能够实时生成游戏角色和人形机器人的动作。该研究成果于SIGGRAPH 2026发表,并于2026年10月公开了源代码和预训练模型。
在传统游戏开发中,需要单独准备步行、奔跑、跳跃等动作并进行切换。而在MotionBricks中,只需指定当前姿势和目标姿势,AI即可生成两者之间自然的动作。
此外,它还支持移动与物体操作相结合的复杂动作。
1-2. 主要特点
MotionBricks的主要特点如下。
・实时生成:最高15,000 FPS等效、约2ms的推理延迟
・大规模动作学习:使用超过35万条运动片段进行训练
・灵活的动作控制:可指定速度、方向、风格和目标姿态
・动作组合:可将移动与物体操作相结合
・零样本支持:无需额外训练即可应对新的动作场景
・机器人应用:在Unitree G1上验证了实际运行效果
15,000 FPS并非指屏幕渲染帧率,而是动作生成的处理性能。
2. MotionBricks 的工作原理
2-1. 从姿态生成动作
MotionBricks 利用了一种名为“Motion In-betweening(动作插值)”的技术,由AI自动补全指定姿态之间的动作。
输入和输出如下。
・输入
・Context Pose(上下文姿态):最近4个姿势
・Target Pose(目标姿态):希望到达的1至4个姿势
・输出
・Generated Motion(生成动作):从当前到目标姿态的连续动作
例如,指定站立姿势和坐姿时,会生成直至就座的动作。
一次生成的动作时长约为0.6至1.9秒。通过将生成结果用作下一次输入,可以连续生成长达更长时间的动作。
2-2. 动作生成的三个模块
MotionBricks通过以下三个模块生成动作:
・Root Module:预测动作时间和全身移动路径
・Pose Module:生成沿移动路径的身体动作
・Decoder:将生成结果转换为关节姿态
通过将全身移动与四肢运动分开处理,实现自然动作的高速生成。
3. Smart Primitives
「Smart Primitives」是一种将移动和物体操作视为可复用动作部件的机制。无需单独训练专用模型,即可组合出各种动作。
3-1. Smart Locomotion(移动)
「Smart Locomotion」是控制角色移动的功能。
主要可以指定以下条件:
・速度:步行、奔跑、停止
・方向:前进、后退、横向移动
・朝向:面向与行进方向不同的方向
・风格:正常行走、僵尸步态、受伤行走等
通过组合这些条件,可以生成适应各种情况的自然移动,例如在奔跑中改变方向。
3-2. Smart Objects(物体操作)
「Smart Objects」是控制角色与物体交互的功能。
官方演示中介绍了以下动作:
・Pick Up:拾起物体
・Sit:坐在椅子上
・Jump Over:跳过障碍物
・Fall:摔倒
例如,根据椅子的位置设置就座姿势,即可生成前往该位置的相应动作。
结合 Smart Locomotion,还可以构建诸如“走到椅子旁、转身坐下”等一系列连贯动作。
4. MotionBricks 的应用示例
4-1. ゲームキャラクターの動作生成
MotionBricksは、Unreal Engine 5を使ったゲームキャラクターの動作生成で実証されています。
公式デモでは、歩行、走行、ジャンプ、着席などを連続して実行しています。
また、公開されたPython実装には、動作の部品を編集する「Smart Primitive Editor」と、シーンを編集する「Scene Editor」も用意されています。
4-2. ヒューマノイドロボットの制御
MotionBricksは、ヒューマノイドロボット「Unitree G1」での実機動作も実証されています。
NVIDIAの「GR00T Whole-Body Control」にも組み込まれ、動作生成を担当しています。
ただし、生成した動作を実機で実行するには、バランス維持や関節制限などを考慮した制御も必要です。
5. MotionBricks の実行環境
5-1. 公開モデル
截至2026年10月,主要公开了以下两种类型的预训练模型。
・MotionBricks-SOMA-RP-v1:面向人体模型“SOMA”
・MotionBricks-G1-RP-v1:面向人形机器人“Unitree G1”
两者均支持30 FPS的动作生成。
用于推理的ONNX模型在GitHub上公开,预训练检查点在Hugging Face上公开。代码和模型的许可证不同。
5-2. 動作環境
官方实现的主要运行环境如下:
・OS:Windows / Linux(x86-64)
・GPU:NVIDIA GPU
・推理引擎:TensorRT
・GPU处理:NVIDIA Warp
・物理模拟相关:NVIDIA Newton
・开发语言:Python
公式演示已在RTX 4090上验证运行。其他NVIDIA GPU也可能支持,但需要确认兼容环境和性能表现。
5. 尝试MotionBricks的演示
(1) 让AI代理(如Codex等)通过Colab CLI为MotionBricks设置演示环境。
希望使用Colab CLI运行NVIDIA MotionBricks的演示
并在浏览器中操作请告知完成设置所需的时间
设置已完成。耗时约12分钟(从10:04到10:16,包含首次转换和运行确认)。
在浏览器中操作
正在 Colab 的 NVIDIA L4 上运行官方 SOMA 演示。已确认步行操作,显示帧率约为14 FPS。
请在画面内点击以进行操作。
WASD:移动
Space+移动:奔跑
I:交互/站起
O / P:切换移动模式
[:切换步行风格使用后执行 [停止文件](/Users/npaka/Documents/post/work/stop-motionbricks.command),即可释放 Colab GPU。
(2) 動作確認。
(3) 停止 Colab。
请停止 Colab。
来源:npaka · AI与游戏开发技术 · note.com