LeRobot v0.7.0 发布：新增自然语言交互、世界模型与流式学习

总结了「LeRobot v0.7.0」的概要。

目次

1. 1. LeRobot v0.7.0 的新功能
2. 2. 通过自然语言操作机器人
3. 2-1. Interactive Rollout（交互式 rollout）
4. 2-2. 使用外部 VLM 进行自主操作
5. 2-3. 通过 FineART 学习子任务
6. 3. 添加世界模型与VLA
7. 3-1. 世界模型类机器人行动模型
8. 3-2. 新的VLA
9. 4. 大规模数据集的学习
10. 4-1. 流式学习

1. LeRobot v0.7.0 的新功能

2026年11月5日，Hugging Face 发布了面向机器人的开源 AI 开发框架「LeRobot v0.7.0」。
「LeRobot」是一个集成了机器人操作数据收集、AI 模型训练与评估以及实机推理的框架。

本次主要新功能如下：

本次更新特别强化了自然语言机器人操作以及大规模模型的训练与推理环境。

2. 通过自然语言进行机器人操作

2-1. 交互式 rollout（Interactive Rollout）

“Interactive Rollout”是一项功能，允许在驱动机器人的同时，通过自然语言更改指令或提出问题。

可以在保持与机器人的连接和AI模型运行的状态下进行交互式操作。

例如，可以使用以下命令。

/start
/subtask pick up the red cube
/vqa how many cubes are left on the table?
/autosteer clear the table
/stop

可以通过lerobot-rollout的--interactive=true选项启用。

另外，/vqa和/autosteer需要支持文本生成的AI模型或外部VLM规划器。

2-2. 基于外部VLM的自主操作

在v0.7.0中，还可以使用能够理解摄像头画面和自然语言并规划任务的“VLM规划器”。

例如，当发出“收拾桌子”的指令时，其运作方式如下。

可以通过兼容OpenAI的API访问外部VLM。也可以使用在vLLM等环境中本地运行的VLM。

由此，可以实现由VLM负责高层任务规划、由VLA负责具体机器人动作的架构。

2-3. 基于FineART的子任务学习

"FineART"是由Hugging Face和Scale AI推出的包含细粒度作业单元标注的机器人数据集。

使用这些数据训练的“FineART-VLA”是一个扩展了π0.5的模型，结合了以下两个角色：

此外，还增加了将lerobot-annotate赋予的子任务和VQA等语言注释转换为学习数据的功能。

3. 世界模型与VLA的添加

3-1. 世界模型系机器人行为模型

“World Action Model（WAM）”是学习机器人动作与环境变化之间关系，并预测未来状态和动作的模型。

在v0.7.0中，新增了以下4种类型。

・Cosmos 3（NVIDIA）
该模型能够从摄像头图像和自然语言指令中同时预测未来的视频和机器人的动作。

LeRobot支持对这两种模型进行微调。

・FLUX 3 Action（Black Forest Labs）
该模型能够同时预测未来视频的潜在表示与机器人的动作。在推理时仅输出机器人的动作。
除了基础模型外，还提供了针对SO-101和DROID的检查点。

・LaWAM（RLinf）
基于Qwen3-VL的模型，结合了潜在空间中环境变化的预测与机器人动作的生成。

・Long-WAM（NVIDIA）
这是一个利用长时间范围的视频信息，根据过去的状态预测未来变化和机器人动作的模型。

※成功率是各模型的报告值，并非在完全相同的条件下进行比较。

3-2. 新的VLA

「VLA」（Vision-Language-Action Model）是一种根据图像和自然语言指令生成机器人动作的 AI 模型。

在v0.7.0中，新增了以下4种。

・G0.5（OpenGalaxea）
以Qwen3.5-2B为基础，结合当前子任务等语言信息与机器人动作生成的VLA。

・LingBot-VLA 2.0（Robbyant）
将Qwen3-VL-4B与拥有32个专家的MoE型动作专家相结合的VLA。支持55维的动作空间。

・DM0.5（Dexmal）
将Gemma3-4B与680M参数的Flow Matching型动作专家相结合的VLA。

・Wall-OSS-0.5（X Square Robot）
基于Qwen2.5-VL的4B参数VLA。除了生成机器人动作外，还能生成文本，因此也可用于问答和子任务规划。

4. 大规模数据集的学习

4-1. 流式学习

在 v0.7.0 中，无需下载全部数据即可对保存在 Hugging Face Hub 等处的数据集进行训练。

--dataset.streaming=true

通过仅获取视频所需的字节范围，可以减少本地存储的使用量。

据报道，在使用四个 DataLoader 工作器的条件下，样本处理速度提高了 2.1 至 2.5 倍。

4-2. 支持 LanceDB

现已支持使用“LanceDB”的数据集。通过将数据保存为 LanceDB 的 Lance 格式，可以高效地读取大规模数据集。

Lance是一种用于高效读写大规模数据的数据格式。它无需对原始MP4视频进行重新编码，即可读取所需的帧。

from lerobot.datasets import LeRobotDatasetdataset = LeRobotDataset("lance-format/pusht-lance")

4-3. 基于GPU的数据增强

现在可以使用GPU执行图像数据增强处理。

--dataset.image_transforms.backend=gpu

支持运动模糊、随机阴影、JPEG压缩和色温调整等效果。

在ACT的学习中，据报道实现了以下加速效果：

5. 大规模模型的分布式学习

5-1. 对FSDP2和HSDP的支持

在v0.7.0版本中，增强了在多个GPU上高效训练数十亿至数百亿参数规模模型的功能。

在对拥有60亿参数的FastWAM模型使用8块H200 GPU进行训练的测试中，检查点保存速度提高了3倍，重启时的峰值内存使用量从每块GPU的143GB降低到了42GB。

5-2. 通过Trackio实现训练过程的可视化

学习实验的管理采用了Hugging Face的“Trackio”。

传统的Weights & Biases集成已被Trackio取代。

6. 通过GPU服务器进行远程推理

在v0.7.0版本中，新增了让机器人与AI模型在不同机器上运行的“远程推理（Remote Inference）”功能。

例如，可以采用如下配置。

机器人端负责获取摄像头画面和控制电机，GPU服务器端则负责大规模AI模型的推理。

通过新的lerobot-policy-server，可以构建远程推理服务器。
此外，通过在机器人执行当前动作的同时预测下一个动作，从而抑制推理等待时间的影响。
通信采用“Zenoh”，并支持TLS和访问控制的设置。

由此，实现了搭载小型PC的机器人利用其他机器高性能GPU的配置变得更容易。

7. 仿真与机器人对应

7-1. 仿真环境的集成

在v0.7.0中，引入了一个执行平台，用于通过统一的机制处理各种仿真环境。

利用统一的Vector Environment平台，可以将模拟器作为本地进程或Docker上的服务器运行。

7-2. 对应机器人的扩充

新增硬件支持和功能强化如下。

・I2RT YAM
已支持单臂和双臂配置。通过重力补偿可以减轻机器人手臂自重的影响。

・reBot B601
Seeed Studio的6自由度机械臂。除Damiao电机外，现已支持RobStride电机。

・Unitree G1
已支持NVIDIA全身控制技术“SONIC”的解码器。
AI模型输出64维Motion Token，机器人端的解码器将其转换为50Hz的全身关节控制指令。
此外，还支持23自由度的Unitree G1，可利用GR00T或Holosoma的步态控制。