GR00T 2：联合世界—动作建模如何支持泛化与适配
GR00T 2: Scaling Robot Foundation Models for Generalization, Dexterity, and Adaptation
NVIDIA · 2026 年 11 月
- 世界动作模型
- 跨本体迁移
- 快速适配
- 全身控制
人演示把滤纸放进漏斗，机器人能否学会？机械手已经知道装配顺序，怎样用几条示范补足接触精度？同样的技能到了人形机器人上，又怎样在保持平衡的同时执行？这几个问题共同指向一个目标：让机器人从广泛经验中获得技能，并适应具体身体、任务和执行条件。
GR00T 2 的核心问题是：联合学习“世界接下来怎样变化”与“机器人怎样行动”，能否建立更容易迁移、适配和使用的机器人技能？
官网导读意译： GR00T 2 是一代世界动作模型，同时预测未来视频和机器人动作。它从人类视频、手持设备示范和机器人数据中学习，展示跨本体技能迁移、少量示范适配与智能体协作，并通过 Turbo 支持人形机器人的全身移动操作。
批注： 联合预测是共同的建模基础；跨本体对齐、任务后训练、智能体和全身控制器各自补足不同环节。理解这篇工作，需要顺着“怎样建立模型—怎样迁移技能—怎样改善执行”读下去，同时分清基础模型与整套系统的贡献。
联合预测：同一个网络怎样联系未来与动作
为什么在动作之外学习未来
传统视觉语言动作模型（Vision-Language-Action，VLA）根据相机、语言指令和机器人状态生成控制动作。它能够利用机器人示范学习，但大量人类视频没有现成的机器人控制指令，难以直接变成同一种动作监督。
人的动作和机器人的动作不同，物体变化却能用视频描述：滤纸从桌面进入漏斗，插头靠近插座并完成接触。视频生成模型提供了学习这些变化的基础；跨本体采集与动作重定向，则帮助不同身体的运动进入可训练的接口。
GR00T 2 把这两条路线连接起来，采用世界动作模型（World-Action Model，WAM）：共享网络同时生成未来视觉观测与动作。前者学习交互怎样展开，后者学习当前身体怎样产生相应变化。
这也延续了本系列关于未来预测的讨论：VLA-JEPA 用未来状态目标改善表示，LingBot-VA 让未来预测参与控制；GR00T 2 将联合视频—动作建模扩展到大规模多源训练与多种机器人。这里比较的是设计路线，不构成跨论文的性能排名。
从输入表示到联合生成
模型每次接收近期多相机视频、语言指令和机器人状态。官网展示的历史覆盖 0.8 秒；模型要据此生成下一段未来视频和连续动作，后者称为动作块（action chunk）。
原始视频先经过视频变分自编码器（VAE），压缩成供网络计算的潜状态，再切成 token，即序列中的基本计算单元。语言被编码为指令特征；机器人状态和动作则通过本体专用的小型模块接入共享网络。这里的本体（embodiment）包括身体结构、相机配置和动作接口：同一个“抓住滤纸”，在不同机械手上对应的关节目标并不相同。
关键连接发生在共享 Transformer 内部。视频表示跨时间、跨视角交换信息，动作表示可以读取视频表示，其中包括正在生成的未来视频。因此，动作生成能够利用对后续场景变化的预测。
官网的 Dexter 装配示例展示了头部和双腕三个视角。上图是模型看到的真实观测，下图是从该观测生成的未来。 下图中的机械手和卡车变化都是模型预测。
以放滤纸为例：输入画面中，滤纸还在手里；未来预测需要描述滤纸与漏斗逐渐接触的过程，动作分支同时生成与这种变化相配的手腕和手指运动。两类输出在同一个网络的迭代计算中相互联系，并不需要先生成完整 RGB 影片，再把影片交给另一个控制策略。
本体专用模块最后将共享表示还原成当前机器人的控制数值。这样，模型可以共享交互知识，同时保留不同身体的动作含义。
两类监督怎样共同训练
GR00T 2 用流匹配（flow matching）学习从噪声恢复未来视频与动作。下面用标准直线路径作教学说明，将视频潜状态和动作统记为目标张量 ：
是同形状的高斯噪声， 是模型内部的生成时间。 对应噪声， 对应真实目标；网络接收带噪输入 和观测条件，学习目标方向 。未来视频与动作分别提供监督，并共同更新共享网络。
用一个动作元素跟随计算：假设真实归一化动作值为 0.6，噪声为 −0.2，在中点混合后得到 0.5×0.6 + 0.5×(−0.2) = 0.2，目标方向为 −0.2−0.6 = −0.8。推理从噪声端向数据端更新，因此沿生成时间减小的方向，数值会向 0.6 接近。完整模型在整个视频与动作张量上学习，这个例子只解释一个元素。
只有视频的样本也能贡献未来视觉监督；动作监督用于具有有效动作标签的部分。人类视频因此能够参与训练生成机器人动作的共享网络，而不要求每段视频都有完整的机器人控制标签。
训练时，真实未来作为答案。推理时，模型从新噪声开始，逐步生成未来视频潜状态和动作块，再执行其中一段动作，读取新的真实相机与状态，启动下一轮。内部去噪的次数与机器人实际执行的步数，属于不同时间尺度。 模型预测“滤纸已经放好”，仍需要后续真实观测校正。
多源训练：怎样建立可适配的技能基础
三类数据承担不同作用
| 数据来源 | 训练使用规模 | 补充的经验 |
|---|---|---|
| 人类第一视角视频 | 402,730 小时 | 丰富的任务、物体和手—物交互变化 |
| UMI 手持夹爪示范 | 10,184 小时，2,897 类任务 | 接近机器人操作形式的运动与夹持示范 |
| 机器人遥操作 | 约 23,500 小时 | 不同身体的外观、状态与可执行控制 |
人类数据来自 Human-1M，表中是 GR00T 2 实际使用的筛选规模。UMI 是用手持夹爪记录示范的采集方式；机器人来源覆盖平行夹爪、灵巧手和人形机器人。
这几类数据的价值互补：人的经验扩大任务覆盖，手持设备降低示范采集对机器人的依赖，机器人数据将经验接到真实控制。具备手部运动等标注的人类样本还能提供相应运动监督，缺少有效动作的部分则继续用于未来视频预测。
共同训练也依赖数据对齐：历史、未来、语言和动作必须描述同一次交互。例如，“右手将滤纸放入漏斗”比贯穿整段的“完成实验”更能监督当前操作。清洗、分段和标注服务于这种对应关系。
从视频先验逐步接入机器人动作
训练沿三个阶段推进：
- 单视角视频训练。 从预训练视频扩散模型初始化，用人类与机器人观测学习具身交互的未来变化。
- 多视角视频—动作联合训练。 接入本体专用状态和动作模块，将多相机观测与有效动作标签共同纳入训练。
- 提高机器人数据权重的联合训练。 增加机器人示范的贡献，同时保留其他来源，使共享经验更贴近机器人执行。
这些阶段得到可用于直接执行或继续适配的基础模型。它们解释了为什么“视频预训练”与“机器人控制”能够衔接，也说明后面的低成本适配建立在大规模预训练之上。
人类数据扩展是否真的帮助机器人
作者使用 0%、1%、10% 和 100% 的人类视频份额训练模型，在 72 项 Dexter 任务上分别评估生成视频和实机操作。随数据增加，视频中的平均任务进度由 64% 提高到 77%，实机由 50% 提高到 70%。
官网曲线左侧是生成视频，右侧是实机，误差条表示一个标准差。
这里的指标是任务进度，表示完成了多少任务步骤，不能直接当成完整成功率。生成视频评分与实机评分也分别进行。两边都改善，支持扩大人类经验能够帮助机器人学习，而不仅是让生成视频更好看。
这组扩展实验采用相应的训练配方，训练投入也随数据规模变化；它支持整条扩展路线，没有单独分离数据量与训练量的贡献。接下来更直接的问题是：目标机器人从未演示过某项任务时，这些经验能否迁移过去？
跨本体迁移：任务换了身体，哪些东西需要对齐
人类示范提供任务，机器人数据提供身体经验
官网把这类能力称为 X-Adapt（cross-adaptation，跨适配）。它的关键设置是：目标任务只由人或其他采集设备演示，目标机器人没有该任务的示范，但可以有其他任务或通用活动的数据。
沿图 12 看滤纸任务，可以跟随完整的迁移过程：
- 人佩戴头部、腕部相机和运动记录设备完成任务，尽量让观察视角接近机器人。
- 将人的手腕轨迹转换到机器人坐标系，把手部姿态重定向成机械手可执行的目标，保留关键接触关系并满足关节约束。
- 将这些目标任务示范与机器人不含目标任务的通用活动数据共同训练。前者教任务，后者提供目标身体怎样看、怎样动的经验。
- 部署时换成机器人自己的观测，联合生成这副身体的未来视频和动作，并根据真实反馈继续执行。
因此，“没有目标任务的机器人遥操作”仍然建立在机器人经验之上。联合预测提供共同学习对象，相机和动作对齐则帮助经验跨越具体身体差异。
在每项 20 次实机试验中，滤纸任务成功率为 65%，四项实验室任务的结果分布在 10%—65%。这说明迁移可以发生，也显示不同任务的难度差异很大，尚未形成稳定完成所有精细操作的能力。
官网的滤纸任务对照中，上图是人的训练示范，下图是 Dexter 的自主操作。两者都把滤纸放入漏斗，手指结构与动作接口不同。
手持夹爪与可穿戴手怎样迁移
UMI 示范比普通人类视频更接近机器人格式，但夹爪外观、相机和动作参考点仍然不同。迁移到 YAM 时，需要变换腕部相机视图，并把末端运动和夹爪宽度表达成 YAM 的动作语义。
只用 UMI 数据训练时，模型在 YAM 的起始画面之后仍可能预测出人的手臂和手持夹爪。加入目标机器人的通用数据后，预测开始呈现 YAM 的外观；是否完成任务，还要看实机表现。
仅由手持夹爪演示的玩具自卸卡车装配，在 YAM 上取得 6/10 的完整任务成功。目标机器人没有该任务示范，仍有预训练和任务无关数据支持；这个成绩体现跨设备迁移，同时保留了长任务的明显失败。
DexUMI 将同样的采集思路扩展到可穿戴五指外骨骼。外骨骼与目标机械手的关节和接触结构匹配时，人的示范更容易映射成机器人动作，可用于早餐准备、划火柴等双手任务。换到结构不同的机械手，仍需要重新处理重定向和视角对齐。
几条路径共同说明：共享模型可以迁移任务经验，迁移配方仍须明确观察方式与控制含义。 这些结果评估的是联合建模、数据与对齐共同构成的方案，不能把全部收益单独归因于未来预测目标。
快速适配与可靠执行：从知道步骤到持续完成
少量示范怎样补足执行精度
跨本体迁移后，机器人可能已经做对操作顺序，却在抓取位置、开合幅度或接触对准上失败。目标机器人示范提供这些具体信息，适配则把它们接入已有技能。
GR00T 2 使用低秩适配（LoRA）：保留基础权重，训练较小的增量参数，继续学习未来视频和动作。这样可以用较少数据和计算调整任务，而不必重新训练整个基础模型。
Dexter-50 的任务没有出现在目标机器人自身的数据中，但出现在人类视频或其他机器人的数据中。比较直接使用基础模型，与每任务用一条、五条示范进行适配：
| 目标任务示范数 | 0 条 | 1 条 | 5 条 |
|---|---|---|---|
| 平均试验成功率 | 40% | 71% | 95% |
每项五条示范合计不到三分钟机器人数据，单张 RTX 5090 上约 30 分钟即可完成相应 LoRA 适配。这个成本描述的是已有基础模型的任务适配。
这里有一个重要条件：50 项任务来自“五条示范后成功率至少达到 80%”的任务集合。95% 是这组筛选任务的平均成绩，不能推广为任意新任务的保证。 此外，零样本时“40/50 项至少成功一次”与表中的“40% 试验成功率”是不同统计。
灵巧操作展示了这种任务适配的用途。使用两只 22 自由度 Sharpa 手的 Dexter，可以完成装配和实验室操作，官网给出的内存模块安装成功率为 85%。另一条工具使用路径从单个人类示范重建仿真任务，经强化学习获得示范，再适配 GR00T 2，最后转移到真实机械手。这些能力需要相应后训练，并非基础模型直接具备全部技能。
强化学习怎样改善接触技能
插入网线或旋接管件时，动作与示范相近仍可能失败。实机强化学习让模型尝试动作，用任务成功反馈发现更有效的控制方式。
作者再收集强化学习找到的成功轨迹，从监督微调起点重新训练，称为 GRPO 诱导的自模仿。这里的分工是：交互发现有效行为，监督训练巩固这些经验。
官网重点展示三项接触任务。固定管件、网线和充电器插入的监督微调成功率分别为 66%、76%、40%，成功轨迹自模仿后达到 88%、94%、96%；每种策略每任务评估 50 次。它支持用交互经验继续改善接触精度，效果范围仍受具体任务和评测条件约束。
Agentic GR00T 2：智能体控制与视觉引导
即使机械手会装配零件，零件掉落时，系统还需要判断是继续、重试，还是先把零件捡回来。Agentic GR00T 2 是一套以 GR00T 2 为操作策略的分层控制系统。 上层推理智能体负责拆分任务、选择下一步和检查结果；GR00T 2 根据指令与观测生成具体动作，由机器人执行。
智能体通过同一个工具服务读取相机画面和机器人状态，经 WAM API 调用 GR00T 2，也可以调用代码即策略（Code-as-Policy，CaP）工具处理特定情况。执行结果回到观测环节，供智能体判断下一步。智能体控制负责组织这条闭环，视觉引导则为当前操作补充空间目标。
读官网系统图时，从左向右看任务如何变成执行指令，再沿蓝色箭头看观测怎样回到策略或工具服务。
智能体怎样组织任务并恢复失败
在实机装配中，GR00T 2 执行大部分操作，智能体监看进度。零件掉落或装配停滞时，智能体可调用恢复工具重新抓取或调整场景，处理后再把控制交回 GR00T 2。这样，单项操作技能就能接入“观察—推理—执行—验证”的长任务循环。
图 7 左侧每项任务每方法各评估 100 次，每次开始前将零件倒在桌上，考查杂乱布局下的完整装配：
| 方法 | 飞机 | 拖拉机 | Hot Wheels 小车 |
|---|---|---|---|
| 监督微调 | 69/100 | 51/100 | 23/100 |
| 补充策略执行中遇到状态的纠正示范 | 84/100 | 71/100 | 78/100 |
| 再加入智能体恢复 | 98/100 | 97/100 | 97/100 |
97% 以上属于包含纠正示范和恢复机制的组合系统。 剩余失败中仍有螺丝未完全拧紧却被判为完成的情况，说明验证物理状态本身也是难点。
视觉引导怎样减少目标歧义
语言有时不能充分指明“拿哪个、放哪里、用哪只手”。同一套系统中，上层智能体可以在当前相机画面标出抓取点和释放点，用颜色指定手臂，再把标记与逐步指令一同传给 GR00T 2。GR00T 2 根据这些目标生成接近、抓取、搬运和释放的连续动作；智能体随后查看执行结果，决定继续还是重试。
官网的 Dexter 分类画面展示了被选中的物体和目标垃圾桶。标记告诉策略这一步要操作哪个物体、放到哪里。
训练标记可以从现有示范的手和夹爪状态中提取，模型经过相应训练后理解这些输入，无需重新采集一套标记示范。
在 YAM 的“移动什么、放到哪里”短程测试中，每种设置各 90 次：只给任务指令成功率为 40%，规划器逐步语言指令为 66%，逐步指令加视觉标记为 92%。这是同一任务分组内的三种比较条件，不能与其他指令类别的汇总值混用。
长程垃圾分类中，视觉引导完成 YAM 17/20 次；板件拆解为 3/10。Dexter 的完整垃圾分类仍然困难。抓取与释放点也没有表达物体最终朝向、倒水或擦拭等中间运动，这些信息仍需要语言与操作技能补充。
快速适配和强化学习改善单项技能，Agentic GR00T 2 则把操作、验证和恢复串成长任务。接下来还要解决联合预测的计算成本，以及人形机器人如何边移动边操作。
Turbo 与全身控制：让联合预测进入机载执行
压缩模型带来什么收益与代价
人形机器人需要边移动边操作，还要持续保持平衡。视频—动作联合预测的计算成本因此直接影响技能能否在机载设备上使用。
GR00T 2 Turbo 使用较小的 2B 参数联合视频—动作 Transformer，以及压缩率更高的视频编码器。更紧凑的视频表示减少计算，同时保留联合预测与原有动作预测时域。
图 19 比较相同检查点在优化前后的预测时间。整套推理优化后，G1 配置的一次预测在 RTX 5090 上约 38 ms，在机载 Jetson Thor 上约 124 ms。这些数值是模型预测延迟，完整响应还包含观测准备、传输与控制执行；优化收益也不能全部归给模型压缩。
速度提升伴随能力取舍。官网逐任务比较中，Turbo 在 YAM 的固定管件和断路器穿线任务上超过 GR00T 2，在其余四项 YAM 任务和六项 Dexter 任务中的五项落后，另一项持平。因此，它提供更适合机载执行的成本与能力组合，精细操作仍需逐任务检查。
任务预测怎样连接高频全身控制
图 9 将任务级预测与身体控制分开：推理模型选择任务，Turbo 联合预测未来与全身运动 token，SONIC 全身控制器再将这些运动表示转成关节目标，并利用当前身体状态维持执行与平衡。
Turbo 约每秒规划一次，生成未来 1.6 秒的运动；SONIC 以 50 Hz 执行。模型无需每 20 毫秒重新生成整段视频，就能通过下层控制器持续运动。除高层推理模型外，相关执行组件都在机器人机载运行。
这套系统在 G1 上完成爆米花服务 48/48 次、桌面清理 28/30 次，同时也有更困难的全身清理任务只完成 14/30 次。结果展示了联合预测进入真实移动操作的可行性，复杂任务的可靠性仍有明显提升空间。
官网爆米花服务场景中，托盘操作和递送需要手部动作与全身运动配合。
仿真：既补训练数据，也帮助筛选模型
用仿真增加目标身体的经验
全身技能的采集与试错成本高，仿真可以补充真实机器人数据。模型从仿真中的任务变化和身体动作继续学习，再回到实机检验迁移效果。
在保持真实数据相同、增加仿真示范的比较中，Turbo 的相应 G1 分布外任务实机成功率从 6.7% 提高到 63.3%；GR00T 1.7 加入仿真数据后为 40.0%。这支持在该设置中用仿真数据改善实机泛化，尚不能推广为任意仿真任务都能直接迁移。
官网的 G1 王冠抓取任务中，上图是仿真，下图是实机。可以对照桌面物品的位置与机器人的起始姿态。
这也补全了全身控制的训练与执行关系：Turbo 降低预测成本，SONIC 接到身体控制，仿真则增加可用于学习的操作经验。三者共同支持最终系统。
用数字孪生辅助开发与评估
仿真的另一种作用是提前筛选模型。作者从真实机器人视频、扫描和照片重建任务环境，建立几何、外观和碰撞模型，再结合自动测试与人工反馈改进，使虚拟场景尽量对应真实任务。
在 25 项 YAM 任务、14 个策略的对照中，仿真与实机成功率的 Pearson 相关系数为 0.92。这种对应关系使开发者可以先在仿真中筛选数据处理或推理设置，再进行实机评估。
它支持仿真作为这些任务中的开发工具。对于新的接触形式、身体或训练策略，仍需重新验证仿真与实机是否一致，不能用较高相关性替代真实执行验收。
结论：共同模型怎样变成可用技能
GR00T 2 将未来视觉变化与机器人动作放进同一个学习过程，让人类、手持设备和机器人经验能够共同建立技能基础。跨本体实验展示任务经验如何转移；少量示范和强化学习改善具体操作；智能体继续负责组织、指代与恢复；Turbo 与全身控制器把联合预测接入机载移动操作。
最值得理解的是这些连接各自承担什么：联合建模提供共同基础，数据对齐与后训练落实技能，控制和反馈支持真实执行。 官网展示的三组能力有共同出发点，也都有额外的数据、训练或系统条件。
证据支持这条路线的扩展潜力，同时保留清楚的限制：零目标任务示范仍依赖已有身体经验，五样本高成功率有任务选择条件，长任务的物理状态验证和复杂全身操作仍会失败。生成了合理未来，也不保证真实世界已经按预测变化；技能是否可靠，最终仍取决于真实反馈与目标任务上的检验。