π0.5：面向开放世界泛化的视觉语言动作模型
π0.5: a Vision-Language-Action Model with Open-World Generalization
- 开放世界泛化
- 多源数据
- 分层控制
- 联合训练
先验知识
机器人如何从示范中学习
解释： 模仿学习（Imitation Learning）让机器人从人的操作记录中学习：看到这样的场景、接到这样的指令时，应该怎样运动。
视觉-语言-动作模型（Vision-Language-Action Model，VLA）接收相机画面、文字指令和机器人自身状态，输出控制动作。例如“把盘子放进水槽”：画面提供盘子位置，状态提供机械臂姿态，指令说明目标，输出则控制抓取和放置。
π0.5 还会先输出一个短子任务，例如“拿起盘子”。这段文字会成为后续动作生成的条件。
从直接出动作，到先选子任务
直接把“清理厨房”变成关节运动，要求模型同时决定做什么、怎样做。任务越长，中途切换目标越困难。
π0.5 把这两件事拆开：同一个模型先判断当前该做什么，再生成一段连续动作。例如：
清理厨房 → 拿起盘子 → 一段抓取动作
重新观察 → 把盘子放进水槽 → 一段搬运动作
原文： 每次动作生成覆盖未来 50 个控制点，称为动作块（Action Chunk）。高层子任务更新得较慢，底层按子任务生成动作块，控制器依次执行控制点。
解释： 假设只看一个关节，单步输出可以是 [0.1]，三步动作块则是 [0.1, 0.12, 0.15]。实际输出有多维、50 步；场景变化后仍需要重新观察和预测，不能把整项家务视为一次生成、一路执行。
训练、推理和评估
| 阶段 | 做什么 |
|---|---|
| 训练 | 从操作记录、子任务标注和图文数据中学习文字与动作输出，再针对家庭移动操作调整模型 |
| 推理 | 根据当前画面和总指令选择子任务，再根据子任务与机器人状态生成连续动作 |
| 评估 | 在未参加训练的房间中执行任务，按完成步骤得分；另测是否选对指令中的物体、是否放到正确位置 |
训练误差低不等于家务完成得好。后者要靠真实机器人试验判断。
摘要
翻译
机器人要真正有用，就必须在实验室之外完成现实任务。视觉-语言-动作模型已经展示出较强的直接控制能力，但它们能在真实、陌生环境中适应到什么程度，仍是一个开放问题。
作者提出基于 π0 的新模型 π0.5，通过联合训练不同类型的任务，提升适应能力。数据来自多种机器人、高层语义预测、网络数据等；训练样本组合了图像、语言指令、物体检测、子任务预测和底层动作。
实验表明，这些知识来源之间的迁移对有效泛化很关键。作者报告了一套由端到端学习支持的机器人系统，能够在完全未见过的家庭中完成清理厨房、卧室等需要精细操作的长程任务，并将其描述为首次实现这类能力的系统。
批注
-
作者关心的是换个家还能不能用。 会在训练房间拿盘子，与能在陌生厨房找到盘子、安排顺序并放进水槽，难度不同。
-
数据各有用途。 其他机器人的示范提供操作经验，图文数据提供物体与场景知识，子任务标注提供任务组织方式。
-
“首次”是作者的主张。 阅读时更应看测试范围和对照结果，而不是把这一措辞理解为已经解决所有家庭任务。
引言
第 1 段：提出陌生环境中的困难
-
原文内容： 机器人离开实验室后，要处理不同物体、调整技能顺序，并理解场景用途。
-
承接的问题： 能在固定场景完成操作，还不足以应对真实世界。
-
后文铺垫： 训练配方需要覆盖不同层次的能力。
第 2 段：说明为什么要利用多种经验
-
原文内容： 人会结合亲身经历、别人讲过的知识和其他任务经验；作者据此提出机器人也应利用多种来源。
-
承接的问题： 只采集目标机器人示范，难以覆盖所有现实情况。
-
后文铺垫： VLA 能处理图像、文字和动作，为联合学习提供接口。
第 3 段：提出联合训练框架
-
原文内容： 作者提出利用不同类型、不同来源知识的 VLA 联合训练框架。
-
承接的问题： 上段说明了利用多种经验的可能性，这里将它变成研究路线。
-
后文铺垫： 接下来介绍具体模型 π0.5 及其数据组成。
第 4 段：介绍 π0.5 的数据路线
-
原文内容： 基于 π0，加入约 400 小时家庭移动机器人数据及其他机器人、图文任务；第一阶段 97.6% 的训练样本来自目标家庭移动操作数据之外。
-
承接的问题： 不同经验来源如何共同帮助目标机器人？
-
后文铺垫： 作者展示陌生家庭中持续 10–15 分钟的行为，后文再检验各类数据的作用。97.6% 是样本占比，不是操作时长占比。
第 5 段：介绍分层执行方式
-
原文内容： 混合数据预训练后，再针对移动操作后训练；同一模型先选子任务、再产生动作，高层更新频率较低。
-
承接的问题： 长任务既需要选对下一步，也需要精确执行。
-
后文铺垫： 展开不同数据如何分别帮助场景判断与动作控制。
第 6 段：明确贡献和验证方向
-
原文内容： 核心贡献是训练 π0.5 的系统与配方，以及陌生家庭中的概念验证。
-
承接的问题： 混合训练能否真正带来适应能力，需要实验回答。
-
后文铺垫： 用新场景测试、数据删减和高层策略对照检查效果；“首次实现”仍是作者的主张。
相关工作
-
通用机器人策略： 以往工作通过扩大任务和场景范围提升适应能力，但许多测试仍接近训练环境。本文着重测试陌生家庭中的多阶段家务。
-
非机器人数据联合训练： 以往利用图文模型初始化或继续加入图文数据。本文还加入其他机器人操作、子任务预测和人类语言指导，研究组合后的效果。
-
用语言安排任务： 常见做法是一个模型规划、另一个模型执行。π0.5 用同一个模型完成两层推理，不过两层并不以同样频率运行。
-
开放世界机器人系统： 已有系统能在新环境完成抓取等基础任务。本文扩展到多步骤整理，但“新家庭”主要意味着新布局、背景和物体，并不意味着任务类型全部未见过。
π0.5 的机器人与数据平台
设计目标和组成
原文： 实验使用两种移动双臂机器人，希望同一套模型能在不同家庭中完成整理与清洁。
| 组成 | 原论文配置与作用 |
|---|---|
| 双臂与夹爪 | 每臂 6 个运动自由度，加 1 个夹爪控制量，合计 14 维，用于抓取和双臂操作 |
| 移动底盘 | 2 维平移速度与 1 维转向速度，合计 3 维 |
| 升降机构 | 1 或 2 维，调整操作高度或前后位置 |
| 状态与动作 | 按平台合计 18 或 19 维 |
| 相机 | 前向、后向、左右腕部，共 4 路 RGB 画面 |
模型输出机械臂、夹爪和升降机构的目标位置，以及底盘目标速度。简单的比例–微分控制器（PD Controller）跟踪这些目标；论文系统没有额外的轨迹规划或碰撞检测模块。
解释： 双臂处理抓取与整理，移动和升降让机器人够到不同位置。实际任务能力仍需实验验证，不能仅由硬件配置推导。
操作与记录怎样衔接
示范操作记录画面、状态与动作；多步骤任务另有人标注当前子任务和相关物体位置。后训练还加入“语言示范”：专家选出下一条子任务指令，让已训练的底层策略执行。
专家选择“拿起枕头” → 底层策略执行 → 记录当时画面与所选指令
解释： 这些记录教模型如何选下一步。相比仅记录关节运动，语言示范直接提供“当下该做什么”的监督；适用前提是底层策略已经能执行相应子任务。部署时由模型自行选步骤。
传感器、数据采集和能力
高层判断使用全部 4 路画面；底层动作生成使用前向和双腕共 3 路画面。控制目标按 50 Hz 执行，不能把这个数字理解为每秒重新运行完整模型 50 次。
移动机器人示范约 400 小时，来自约 100 个家庭环境；其他来源包括家庭中的固定机械臂、实验室多机器人数据与公开 OXE 数据。论文未统一给出相机分辨率、各类数据采样频率和示范时长，不能用 50 Hz 控制频率补齐这些规格。
展示能力包括收衣服、放碗盘、整理抽屉、铺床和挂毛巾。真实家庭定量测试覆盖 3 个未见家庭，重点测试物品入抽屉、衣物入篮、碗盘入水槽；受控对照还包括铺床。
多源联合训练与分层动作生成
先确定当前子任务
“清理卧室”不能直接说明此刻该抓什么。模型需要根据眼前状态决定下一步，再把决定交给动作生成部分。
用两个条件关系表示：
当前画面 + 自身状态 + 总任务 → 子任务 s
当前画面 + 自身状态 + 子任务 s → 动作块 A
这里 s 是“拿起枕头”这样的文字，A 是一段控制序列。按照论文的分解，底层动作条件是子任务，不直接依赖总任务指令。
例如枕头还在地上时选择“拿起枕头”，拿起后再选择“把枕头放到床头”。高层选择错了，底层即使运动准确，也可能做错事；论文观察到过反复开关抽屉等问题。
训练用动作编码，执行用连续动作
模型既要学得有效率，也要及时给出精细动作。作者为两个阶段选择了不同表示。
-
预训练： 用 FAST 动作编码（FAST Action Tokenization）把连续动作压缩为离散符号，与文字一起按“预测下一个符号”的方式学习。
-
后训练： 加入动作专家（Action Expert），通过流匹配（Flow Matching）学习连续动作，同时保留文字和离散动作预测。
-
执行： 文字子任务逐个符号生成；动作专家从随机初值出发，用 10 次更新得到连续动作块。
以未来 50 步、每步 18 维的机器人动作为例，执行时最终需要的是一个 50 × 18 的数值数组，而不是让底层控制器读取文字。先用编码训练，再用连续数值控制，是两阶段设计的重要区别。
解释： 动作块长度决定一次安排多远，更新次数决定生成过程分几步细化。单步动作缺少块内的后续安排；过长窗口则更容易遇到场景变化。作者采用 50 个控制点、10 次更新，但本文没有对这两个数做系统对照，不能说它们对所有机器人都最优。
动作块内部能联合安排运动，但这不代表能不看环境一直执行。论文没有给出可套用于所有平台的统一动作块执行比例，也没有采用 ACT 的重叠预测时间集成作为本文核心机制。
不同数据分别补什么能力
| 数据 | 提供的学习机会 |
|---|---|
| 家庭移动机器人数据 | 把移动、升降和双臂操作用于真实家务 |
| 多环境固定机械臂数据 | 接触更多家庭、物体和操作场景 |
| 实验室跨机器人数据 | 学习更多操作技能与任务 |
| 子任务标注 | 根据当前场景选择下一步，定位相关物体 |
| 网络图文数据 | 保持物体识别、场景理解和语言能力 |
| 专家语言示范 | 学习怎样指挥已有底层策略完成多步骤任务 |
这是共同训练一个模型，不是执行时轮流调用这些数据集。不同样本可以要求不同输出；一张问答图片不需要凭空补上机械臂动作。
实验支持到哪里： 去掉其他机器人数据，受控家务测试表现下降。去掉网络数据，该组家务测试没有统计显著下降，但陌生类别物体的指令执行和高层任务判断变差。因此不能说每一种数据都在每项测试中同样重要。
两阶段训练怎样衔接
预训练： 从 PaliGemma 视觉语言模型出发，混合机器人动作、子任务、物体位置和图文任务，训练 280,000 步。这一阶段不使用连续动作专家的训练损失。
动作按各数据集、各维度的第 1 与第 99 百分位数归一化到 [−1, 1]；低维机器人用补零对齐动作空间。关节目标与末端目标则通过指令中的控制模式标签区分。
后训练： 新增随机初始化的约 3 亿参数动作专家，再训练 80,000 步。动作数据重点保留家庭移动与固定机械臂中成功且不超时的示范，移除实验室跨机器人数据；同时保留相关子任务和网络数据，加入专家语言示范。
目标可简记为：
总损失 = 符号预测损失 + 10 × 连续动作损失。
第一项是文字及 FAST 动作符号的交叉熵，第二项是动作更新方向的平方误差，10 是后训练使用的权重；预训练对应权重为 0。两种动作表示在模型内部被隔开，连续动作部分不能偷看 FAST 动作答案。
流匹配训练会混合真实动作 A 与标准高斯噪声 ε：带噪动作 = τA + (1−τ)ε，其中 τ 在 0 到 1 之间。正文式（1）的预测目标写作 ε−A。比如 A=0.6、ε=−0.2、τ=0.5，带噪输入是 0.2，目标是 −0.8。这是原文的向量场符号约定，不能直接把负号解释成机械臂后退。
τ 是生成过程的内部进度，ε 与 A 都是 50 × d 的归一化数组，d 是动作维度；不是带物理单位的秒数。这里仅用一个数帮助阅读，实际训练处理整段数组；推理从新噪声出发，不需要真实动作 A。
完整网络、实验与边界
原文： 画面经视觉编码器变成特征，指令与机器人状态进入视觉语言骨干。与 π0 不同，π0.5 将自身状态离散化后作为文字符号输入。骨干输出子任务文字，也向较小的动作专家提供观测信息；动作专家结合带噪动作生成连续控制序列。
| 输入与模块 | 形状或处理方式 |
|---|---|
| 画面 | 高层 4 路、底层 3 路；经视觉编码器转为图像特征序列 |
| 总指令、子任务与自身状态 | 变为符号序列，与图像特征组成观测前缀 |
| 视觉语言骨干 | 隐藏宽度 2048、18 层，输出文字预测；预训练还预测 FAST 动作符号 |
| 动作专家 | 隐藏宽度 1024、18 层，约 3 亿参数；输入 50 × d 带噪动作，线性映射到内部特征 |
| 生成进度 τ | 单独编码后注入动作专家各层；专家通过注意力读取观测前缀 |
| 连续输出 | 线性映射回 50 × d 的更新量，经 10 次更新得到动作块 |
动作专家可读取观测和自身动作特征，不能读取 FAST 动作符号；骨干也不读取动作专家特征。两部分通过注意力共享观测信息，不要求将 2048 与 1024 直接相加。原文未统一给出图像序列长度或所有数据集共用的最大动作维度，不补写固定值。
注意： 图 3 标注 Gemma 为 2.6B，附录 E 则称“2B VLM”。这里保留可核对的层数与隐藏宽度，不自行拼算一个精确总参数量。
附录给出动作窗口为 50 个控制点。原文采用含首尾端点的写法，记作 H=49；这里直接写“50 步”，避免混淆。对于实验中的两种平台，输出是 50 × 18 或 50 × 19 的动作块；跨机器人训练会补零对齐到统一维度。
训练时：混合数据 → 骨干预测文字/动作符号
后训练再加入带噪动作 → 动作专家学习连续动作更新
推理时：观测 + 总任务 → 子任务文字
观测 + 子任务 + 随机动作初值 → 10 次更新 → 连续动作块 → 执行并重新观察
读实验时抓住三点：
-
训练地点越多，总体表现越好。 对照使用 3、12、22、53、82、104 个地点。104 地点模型在所测任务中接近见过测试环境的对照模型；这是特定实验的结果，不保证随意换个家都一样。
-
完整配方优于只改动作训练。 同一机器人训练集、相近训练步数下，π0.5 优于 π0 和 π0-FAST+Flow。提升不能全部归因于 FAST，子任务与图文联合训练也是差别。
-
高层推理有帮助，但高层数据本身也有价值。 推理时不显式选子任务、训练仍保留完整数据的版本表现次好。去掉专家语言示范或网络数据则下降。不能把“先说一句再动作”当作全部原因。
主要图表报告的是任务完成度，并非全部完成的成功率。默认每策略、每任务约 10 次试验，四任务标准对照合计约 40 次；部分因故取消的试验被剔除。例如碗盘入水槽满分 8 分，抓起和放入分别计分，拿到一半分数并不表示一半试验完整成功。
论文展示了 10–15 分钟的长程行为，但真实家庭定量测试中的许多任务持续约 2–5 分钟，两者不应混写。系统仍会受陌生把手、难打开的柜门、机械臂遮挡和高层目标反复切换影响；复杂偏好、跨房间记忆也未充分解决。它提供了新家庭中的有效验证，离稳定承担全部家务仍有距离。
核对位置：摘要与引言；正文 II、IV-A 至 IV-E、V-A 至 V-E、VI；图 3、5、7–13；附录 B、E。本文未加入项目硬件迁移设定。
π0 与 π0.5 对比
主要变化
解释： π0 重点研究怎样让一个模型控制多种机器人、完成精细操作；π0.5 在这条路线上进一步研究，机器人换到陌生家庭后，怎样理解现场并安排多步骤家务。
| 比较项 | π0 | π0.5 |
|---|---|---|
| 研究重点 | 跨机器人、跨任务的通用操作能力 | 新家庭、新物体和新布局中的多阶段操作 |
| 数据来源 | 从图文预训练模型出发，策略训练主要使用跨机器人示范与语言标注 | 继续联合训练机器人操作、子任务预测、物体定位和网络图文；后训练加入专家语言示范 |
| 动作训练 | 预训练和后训练均用动作专家学习连续动作 | 预训练用 FAST 动作符号；后训练才加入动作专家，同时学习符号与连续动作 |
| 实际动作输出 | 流匹配生成连续动作块 | 同样用流匹配生成连续动作块；FAST 主要服务于训练 |
| 长任务的安排 | π0 执行语言指令；需要显式语义规划时，可由人或外部高层 VLM 提供中间指令 | 同一个模型根据总任务先预测子任务，再按子任务生成动作 |
| 自身状态输入 | 连续状态经线性映射进入动作专家 | 状态离散化为文字符号，进入视觉语言骨干 |
| 后训练目标 | 用质量更高、行为更一致的数据，提升具体任务熟练度 | 针对家庭移动操作，同时调整动作执行与子任务选择能力 |
两者都以 PaliGemma 为基础，都使用约 3 亿参数的动作专家；论文实现都生成 50 个控制点，并用 10 次流匹配更新。π0.5 的主要变化是训练配方与任务组织方式，不能将提升简单归结为模型更大或动作块更长。
用“把盘子放进水槽”看执行差异
π0：
画面 + 状态 + “把盘子放进水槽” → 连续动作块 → 执行
若要显式拆解整项厨房整理，可由人或外部高层模型提供中间指令。
π0.5：
画面 + 状态 + “清理厨房” → 模型选择“拿起盘子”
画面 + 状态 + “拿起盘子” → 连续动作块 → 执行并重新观察
之后根据现场再选择“把盘子放进水槽”等子任务。
注意： 这是执行路径的对比。π0 原论文也展示了长程任务，不能把它描述成只能完成单步操作；π0.5 增加的是同一模型中显式选择子任务的能力。
实验支持什么结论
原文： π0.5 论文在同一机器人训练集、相近训练步数下进行对照；其完整配方在这些未见的受控家庭环境中优于 π0 与 π0-FAST+Flow。后者已经采用 FAST 与流匹配结合的训练方式，但仅使用机器人动作数据、不具备高层推理。因此，只改变动作训练方式，还不足以达到完整 π0.5 的表现。
注意： 图中是 π0.5 论文里的重训对照，不是把两篇论文各自的分数直接拼在一起。结果支持的是这些任务与条件下的提升，不能推广成所有任务都有固定幅度的增益。
数据规模也要按范围比较：π0 的“超过 10,000 小时”指总体机器人示范；π0.5 的“约 400 小时”只指家庭移动操作部分，仍使用大量其他机器人与图文数据。不能由这两个数得出“π0.5 只用更少总数据就全面超过 π0”。
对比依据：π0 原论文 2410.24164v4 的 III、IV、V 与高层语言指令实验；π0.5 原论文 2504.16054v1 的 IV、V-D、V-E、图 12 及附录 E。