清华曹婷：具身今年才追自进化，我们已在这条路上走很远了 | 世界模型 50 人

这三个问题不解决，数据终究会成为具身最大卡点，一位前微软亚研科学家的“提前量”。

    作者丨邓哲敏

    编辑丨齐铖湧

今年初秋，Skild S1、Generalist GEN-1.5、RoboTTT 等工作密集亮相，不约而同将上下文学习（ICL）带入机器学习领域。AI科技评论（雷峰网）注意到，国内一支团队也在同一时间发布了能够实现上下文学习的世界模型，领头羊是清华大学智能产业研究院（AIR）教授曹婷。

2009 年，曹婷赴澳洲读博，师从编程语言与系统领域的两位顶尖学者，研究非对称多核处理器与 Java 这类托管语言之间功耗与性能的权衡。博士期间所著论文入选 CACM 研究亮点，图灵奖得主大卫·帕特森专门撰文推荐，并收录进自己的经典教材《计算机体系结构：量化研究方法》。

值得一提的是一篇发表在 ISCA 的论文：The Yin and Yang of Power and Performance for Asymmetric Hardware and Managed Software，其论证近乎诗意：虚拟机的垃圾回收、即时编译这些额外开销，恰好是可以卸到小核上去跑的差异负载，用小核的“阳”，去补虚拟机开销的“阴”；反过来，非对称硬件暴露出来的复杂性，又正好被托管语言的抽象所化解。

在我们看来，这段经历埋下了影响曹婷学术生涯的东西：一个关于阴阳的直觉——约束，从不只是限制，它也可以是逼出系统生机的起点。

博士毕业后，曹婷来到华为编译器与编程语言实验室，负责方舟编译器的内存管理，在有限的内存里，让程序跑得更快更省。2018 年，她加入微软亚洲研究院（MSRA）异构计算组，一待就是七年，做端侧 AI 推理，把几十亿参数的神经网络，塞进手机、PC 和 IoT 设备，让它们不靠云端，在本地的算力、功耗和存储里跑起来。低比特量化、LUT 查表推理、存算一体加速器，这些技术进入微软 Office、Windows、Bing，服务百万级用户。

2025 年夏天，曹婷加入清华 AIR。这一次，横在她面前的是更凶险的约束：训练数据极度匮乏、物理环境千变万化的现实。她很快发现，机器人在固定设置下能做对动作，环境稍有变化就失败，而那些失败里藏着的宝贵信息，又被传统系统随手丢掉。具身智能已经能做 Demo，却迟迟无法真正部署。

曹婷的答案，还是“阴阳”，既然约束无法穷举，那就把约束变成养分。当年 10 月，她和 MSRA 时期的老搭档、清华 AIR 副院长刘云新教授共同发起域变换（Z-Trans），押注具身自进化，并陆续发布 Z0、Zeva、Zeva Ego、Zetta、Z-infra 等工作。

从让软件在异构硬件上省功耗，到让模型在边缘设备上省算力，再到让智能在物理世界里学会自进化，曹婷这十几年做的始终是同一件事：让智能在条件不充分的情况下好好工作。

以下是AI科技评论与曹婷的对话，在不改变原意的基础上有所编辑。

01

 当机器人工厂慢慢冷下来

“整体的技术范式没有收敛，而且变化特别快，基本每个月都不一样，但一个离线、一个在线这套学习范式，应该是大家统一认可的。”

▎AI科技评论：今年上半年，整个行业还在疯狂建机器人数采工厂，试图用海量数据大力出奇迹。但到了下半年，陆续出现了许多具身上下文学习的工作，是前序研究证明了什么吗？

曹婷：我自己的体会非常深刻。今年 5 月份之前，大家还相信“离线训一个模型，它在线就能干活”，但现在看，这些数采工厂基本都冷掉了。

大家发现，离线数据采得再多，机器人在线依然干不成活，因为离线数据永远涵盖不到真实世界的全部情况。

看到之前的路走不通，大家才开始思考怎样让机器人不只依赖离线训练，还能在部署后利用新的示范和反馈进行在线的上下文学习。

▎AI科技评论：大家在技术上达成共识了吗？

曹婷：整体上学习范式分两种：一种 offline，一种 online。

在上下文中学习这个概念最早是从大语言模型（LLM）出来的，GPT 证明了上下文示例即可泛化。具身领域，大家也希望在上下文阶段给机器人演示一遍，它就能泛化到各种各样的情形。目前整体的技术范式没有收敛，而且变化特别快，基本每个月都不一样，但一个离线、一个在线这套学习范式，应该是大家统一认可的。

▎AI科技评论：大语言模型的 ICL 是靠涌现的，给几个文本例子它就会了。你能不能帮大家梳理一下，具身的ICL有什么不一样，目前具身 ICL 的工作有哪些路线？

曹婷：具身领域的 ICL 远比语言模型复杂，目前行业里有三条不同的路线。

第一种期待像 LLM 一样，能力自己涌现出来。比如 Generalist 说他们的能力是涌现出来的，训练时见过很多人类视频、很多 ego 数据，之后给它一段视频，它就能自己去干活。但我觉得这条路比较困难，背后可能有不少限制条件。

第二种是显式训练，类似Skild，给它一段视频，让它去预测下一条 action。这不是模型自己涌现的，而是训练时就这么训的。就跟之前的 VLA 一样，之前是 language 做 prompt、action 做输出，现在是 video 做 prompt、action 做输出。

我们的路线是第三种，叫 ICCL（in-context causal learning，上下文因果学习）。我们认为直接把 video 给模型，让它去生成 action，这很困难，因为视频里可能有移动的人、有无关物体、有反光，很难让模型从这堆噪声里提炼出有效的动作信息。

▎AI科技评论：你们的做法是把这些噪声全扔掉？

曹婷：对，我们加了一个动作-效果提取模块，减少无关视觉变化的干扰，只把动作和它产生的效果加到上下文里。从我们自己观察来看，目前这个方法比其他模型的泛化性都好，尤其背景特别复杂的时候。

▎AI科技评论：如果 ICL 这条路真的能跑通，后训练的工作是不是没太大意义了？

曹婷：这需要分开看。ICL的强项是极度灵活的泛化，没见过的任务，人做一次它就知道该咋做了，更适合家庭这种对泛化性要求特别高的场景。

但在工厂生产线上，工厂在乎的是精度和延迟，客户要求的是 99% 甚至更高的精度，目前 ICL 还远达不到这个水平，比如 Skild 报告，在未见过的任务里，ICL 步骤成功率也就 60% 多。所以，在没有那么频繁变化的柔性工业生产场景，稍微采几百条数据给它后训练一下，依然是保证精度最经济、最可靠的方法。

家庭靠 ICL 泛化，工厂靠后训练求稳，这是完全不同的两条逻辑。

02

何谓因果

“模型是 data-driven 的，是从大量数据里学会规律，涌现出能力。”

▎AI科技评论：前面提到你们的路线里有一个提取动作和效果的技术，这是你们的技术核心吗？

曹婷：对的。我们最开始做的是 Zeva，当时基于 Cosmos 。但我们的技术其实不挑基模，World Model、VLA 都能用。后面又发了 Zeva-Ego，就是基于 VLA 用 Ego 数据做的中训练。

这两个工作是一脉相承的：Zeva 强调上下文因果学习，它有一个动作提取器，可以在线地提炼出动作和效果，加到上下文里；Zeva Ego 从 ego 数据里提炼动作和效果，去做中训练，让泛化性有显著提升。

最本质的都是因果提取器，这是我们的核心技术。

▎AI科技评论：Zeva-Ego 用到的数据，是你们自己采的吗？

曹婷：用的是开源的数据，但我们要清洗，因为大部分不适合直接用于动作学习，最后大概只留十分之一。

我们会分两个阶段去训练因果提取器。第一阶段主要学习动作之外的环境变化，有一个专门的网络负责把动作无关的东西提炼出来。第二阶段利用第一阶段学到的环境表征，让因果提取器学会仅提取动作相关的信息。训练好以后，再拿那些没有动作标注的 ego 数据，提取动作因果，用于后续中训练。

▎AI科技评论：直接用无标注数据，那可免去不少标注的工作，能更高效地使用数据。

曹婷：是的，我们用了 10K 小时没有标注的 ego 数据，通过我们的编码器转化为动作相关的监督信号来训练模型。

▎AI科技评论：关于因果，之前世界模型那波起来的时候，很多人都出来说自己做的是因果世界模型，有人会质疑，现在还没有好的证据能证明机器人真正习得了物理规律。你们怎么向别人证明这一点？

曹婷：这个领域关于“因果”的讨论很多。我们的因果指的就是 action 和 effect：因是动作，果是产生的效果，这是直接的因果。比如让机械臂以多大力推下瓶子，瓶子究竟移动了多少。

怎么能看出它是有效的？首先，在公开评测集上 Zeva 效果更好。从实际效果来看，在背景杂乱的时候，对比业内其他模型，我们的模型学习更加高效，尝试的次数会变少。比如有的模型拿咖啡杯，试个五六次才拿起来，我们基本上一两次就能成功。

▎AI科技评论：“理解物理规律”这个说法，会让人以为是基于科学原理的理性理解，但实际上更像我们人类那种混沌的、经验性的理解？

曹婷：没错，模型是 data-driven 的，是从大量数据里学会规律，涌现出能力。你也可以直接告诉它重力原理，但它一定要自己去试。就跟小孩一样，虽然还没学过物理，也说不清楚为什么，但就是知道要怎么做，这是从大量的尝试里总结出来的经验。

我们认为最合理的一条路是：大量的预训练，加上大量的在线学习，机器人自己把规律学会。我画过一个 roadmap，机器人最终会学成一个物理学家，自己想出新的定律。

▎AI科技评论：AI for Science？

曹婷：对，未来会走到那一步。但现在它能把眼下这些事情干好，就挺不错了。

03

学习与记忆的闭环

“记忆和学习是不分家的：记了足够多的经验，能泛化去做一个没见过的新任务，这就是学习。”

AI科技评论：讲到 ICL，就免不了提到长记忆和 RSI（recursive self-improvement，递归自进化），你怎么看待这三者之间的关系？

曹婷：我之前在 AIR 内部分享过记忆和学习的关系。记忆分为几个层次。

最短的那层，是 working memory，是机器人正在执行当前任务时的上下文。然后是跨任务的长期记忆，这个任务做完了，学到的经验被存下来，变成长期记忆。下次遇到类似任务，可以去检索历史经验，加到当前的上下文里辅助决策。

记忆和学习是不分家的：记了足够多的经验，能泛化去做一个没见过的新任务，这就是学习。

具身 RSI，也就是我们定义并打通的物理世界的自进化（PSI，Physical Self-improvement），是更宏观的闭环。在线学习让机器人积累了成功或失败的数据，把这些数据再拿回来训模型本身，让基模能力提升；基模能力提升了，它又能更快地完成新任务，积累更多数据。这个飞轮就是 PSI 的核心逻辑。

▎AI科技评论：现在还做不到不用尝试直接完成新任务，但长期来看，人们肯定希望机器人能一击即中，在未来，当前上下文方面的工作会不会退位，让道给巩固长期记忆的工作？

曹婷：你说的非常对。我们现在数据全部会回流，我们近期会发布一项新的工作，把机器人自己尝试的数据再训回模型之后，模型效果提升非常明显。就像人尝试很多次之后，把这些都转成大脑皮层，作为长期记忆。

▎AI科技评论：GPT-6 出来以后，有人担心具身基模被“吃掉”，你怎么看这个问题？

曹婷：GPT-6的能力很强，但能理解任务、规划步骤、调用工具，不等于它本身具备了可靠的物理执行能力。一个现实问题是时延，尤其在需要快速响应的操作中，等模型返回结果，现场状态可能已经变了。

▎AI科技评论：这个延迟的问题，有可能被解决吗？

曹婷：仅靠 GPT 本身的优化，就满足机器人实时控制的要求，不太现实。GPT 这种大模型，一定是追求智能上限的，它要追求 AGI 一个模型啥都能干，模型参数越来越大。而且它做复杂任务还要有思考的过程，还要考虑网络传输，这些开销都能难减少。

▎AI科技评论：GPT 就像一个综合图书馆，而具身基模是一个专业的小库。

曹婷：对。我们很早就判断，像 World Model、VLA 这种中小脑，一定需要一个类似 GPT 的大脑在上面，所以我们一直是 agent 加模型一起往前做，模型是 Zeva 和 Zeva Ego，agent（或者说 harness）是 Zetta。

具体来说，我们把具身的部分能力提取出来，训到一个小 VLM 模型上，可以认为是一个端侧的 GPT 模型。现在我们把它训到几十 B 参数，效果上基本没有区别。这个模型作为大脑，负责理解用户指令、拆解长程任务、监控任务执行、生成恢复动作，调下层的工具和模型。

04

赋能产业是最终目标

“（最近）虽然投资市场有点冷，但实际的产业需求特别大。”

▎AI科技评论：你是清华 AIR 教授，也是域变换的联创兼 CTO，院里这两年孵化出不少创业公司，在产业上有什么优势吗？

曹婷：AIR 是张亚勤老师建的，他原来在微软做到全球副总裁，后来回百度做过总裁。所以我们这里的人基本都是从产业回来的，比如我是去年从微软研究院回来的；周谷越老师，他原来是大疆早期核心成员之一，创办的求之科技最近融了十几亿；创立了它石智航的陈亦伦老师之前是华为智驾的 CTO。

我们叫智能产业研究院，“产业”两个字是张亚勤老师建议一定要加上去的，他说我们一定要赋能产业。院里老师们基本都会办创业公司，主要是两个方向，一个生物医药，一个就是具身智能。

▎AI科技评论：这是不是意味着，相比叉院或者自动化所，AIR 跟产业结合更近，对怎么落地也更有经验？

曹婷：叉院创业公司也挺多的，我们 AIR 比较强的一点是，张亚勤老师本人在产业的影响力特别大，无论是国内还是国际上，他的影响力对我们在产业界获取资源助力很大。

▎AI科技评论：除了之前提到的 11 月即将发布的工作，域变换近期还在做什么？

曹婷：我们更重视产业化了。把模型从不会干到能干成这个 pipeline 搭起来以后，需要在实际场景里去验证。

最近几个月频繁接触了很多工厂，虽然投资市场有点冷，但实际的产业需求特别大。大多是流水线上的一些作业，比如拧螺丝钉，还有存在风险的行业，比如化工厂这类，很需要把机器人用上，避免人进入那种环境。

另外，我们在做一个全屋操作的机器人。家庭还是具身的上限，它最能证明模型的泛化性。我们在雄安研究院把家庭的整个卧室、卫生间、客厅全搭在里头，机器人可以在里面做全屋的任务。

▎AI科技评论：团队目前是以博士生为主力军吗？

曹婷：产业线也有工程师，但主要是博士生，我们的博士生非常强。

他们不仅想法活跃，动手能力也非常快，有了想法很快就能实现。而且他们对外面技术变化的把控很强，随时关注外面的变化。大家会互相分享今天又有什么新工作，如果觉得某个技术特别有潜力，会立马去试。

有一天同学特别兴奋地跟我说，他发现只要调 GPT，就能让整个机械臂从什么都不会做到完成一个任务。我说，那必须得做这个自进化的闭环。后来我们就做了 Zetta，一个月就做完了，现在才发布两个月，引用量已经非常大。

我们看到了这个方向的影响力，在未来这可能是一条正确的道路。之后好多看了这个工作来找我们的公司都很奇怪，他们才刚刚意识到这个问题很重要，我们已经把论文发出去了。我觉得这还是同学们的功劳。

▎AI科技评论：现在有多少人？

曹婷：大概 20 人。当他们发现这个事特别有趣、特别有影响力的时候，不用我去催，他们自己就往前冲，非常有热情。反倒是我经常问他们累不累、要不要休息一下。

05

写在最后

曹婷在交流中曾有些得意地说：“当行业突然意识到具身自进化非常重要的时候，我们已经有连续不断的成果发出来了。”事实的确如此，域变换近期发的几项工作和行业的热点方向几乎逐一对应。

6月，Z0 打出“做持续自主进化的物理智能体”的口号，在 RSI 成为显学的几个月前，率先从整体技术框架上考虑，把数据回流和模型自迭代的闭环内置其中。8 月 18 日，承担 Harness 功能的 Zetta ζ 发布；9 月 1 日，实现具身上下文学习的 Zeva 和同样做 ICL 的 Skild、Generalist 等几乎同期发出；一个月内，Zeva-Ego 正式亮相，进入了关于 ego 数据价值的主流讨论。

清华 AIR 不是传统意义上的高校实验室，它的定位一直是产学研一体。院士的资源背书，帮助团队在早期就和英伟达等机构建立合作，把前沿技术推到更大的场景里验证；曹婷带来了七年产业研究院的工程化直觉，以及一套天然就以部署为终点来设计技术路线的思维习惯；而顶尖院校出身的博士生们则离学术前沿最近，饱含科研热情，消化快，出手也快，不会被路径依赖绑住手脚。

热点是阳面，热闹、喧嚣、人人可见；问题是阴面，冷清、难啃、人迹罕至。

在和雷峰网(公众号：雷峰网)交流的过程中，曹婷一直笑意盈盈，没有距离感。工作之余她爬山、跑步，整个人状态极佳。你很难把眼前这个温和优雅的人和十几年来在暗处较劲的硬核研究者联系在一起，或许沉得下心在阴处下功夫，也豁得出去在阳处见真章，就是她多次提前命中热点的秘密。

雷峰网原创文章，未经授权禁止转载。详情见转载须知。