WALL-OSS：将视觉语言模型连接到具身动作
Igniting VLMs toward the Embodied Space
- 动作语义
- 连续控制
- Uni-CoT
- 具身问答
先验知识：理解目标与执行动作之间隔着什么
从 VLM 到 VLA
解释： 视觉语言模型（Vision-Language Model，VLM）根据图片和文字理解场景；视觉语言动作模型（Vision-Language-Action Model，VLA）进一步输出机器人可以执行的数值动作。本文用机器人示范、图文问答及过程标注训练这条映射，而不是把一句文字回答直接发给电机。
以论文的字母积木任务为例：“根据卡片拼出对应单词”需要先认出目标、确定字母顺序，再定位和抓放正确积木。回答“应该拼 FIVE”，只完成了其中的理解部分。
| 概念 | 直观定义 | 本文中的实例 |
|---|---|---|
| 观测（Observation） | 模型判断当前环境的外部信息 | 第一视角及臂上相机图像 |
| 本体状态（Robot State） | 机器人自身的数值状态 | 图 3 中接入连续动作分支的 Robot State；具体字段、维数未报告 |
| 动作（Action） | 控制接口需要的数值目标 | 长度为 T、每步 d 维的连续动作轨迹；跨平台位置单位统一为米，角度单位统一为弧度 |
| 视觉问答（Visual Question Answering，VQA） | 用图像回答文字问题 | 定位指定积木、描述场景、预测下一子任务 |
| 思维链（Chain-of-Thought，CoT） | 显式写出的中间推理步骤 | 判断目标是 FIVE、已摆 F 和 I、下一步应摆 V |
注意： 图 3 的状态输入不能因正文将条件简写为“视觉＋指令”而被省略。论文涉及单臂、双臂、移动系统与轮式类人机器人，不能给所有平台套用同一自由度、相机数或动作单位。
直接动作与跨层级决策
直接策略从当前画面和指令产生动作；分层流水线通常先让独立规划器写子任务，再调用控制器。WALL-OSS 希望由同一模型学习“指令 → 推理 → 子任务 → 连续动作”，也支持跳过不必要的中间层级。
直接路径：图像＋“拼出 FIVE” → 动作序列
完整路径：图像＋指令 → 目标与进度推理 → “把 V 放到第三位” → 动作序列
时间序列例子：
第一个决策时刻：板上为空 → 放 F
后续决策时刻：板上已有 F → 放 I
再后续决策时刻：板上已有 F、I → 放 V
解释： 中间子任务把“当前该做什么”说清楚，有助于减少重复摆放或阶段混淆。它仍需要低层动作正确执行；推理正确不保证抓取位置准确。上述时间序列用于解释任务进度，不代表论文报告了固定重规划周期。
本文还区分离散动作建模（Discrete Action Modeling，DAM）与连续动作建模（Continuous Action Modeling，CAM）：前者将数值轨迹编码成 token 后做序列预测，后者直接生成连续数值轨迹。两者是动作表示与学习目标的区别，不是“单步控制”和“多步控制”的同义词。
训练、推理与评估
| 阶段 | 实际在做什么 | 得到什么 |
|---|---|---|
| 训练 | 用图文问答、示范动作与少量推理／子任务标注，优化文本预测和动作生成目标 | 模型参数；损失衡量监督拟合 |
| 推理 | 输入当前图像、指令及连续动作路径所需的状态；生成可选推理、子任务和连续动作 | 提交给控制系统的动作轨迹 |
| 评估 | 在指定物体、环境和任务中运行模型，并人工评估具身 VQA | 问答表现、任务进度、成功率或指令准确率，须分别解释 |
本文未报告完整控制频率、推理延迟或动作执行调度，不能由“高频动作”“异步控制”的描述推导实时性能；训练损失也不能当作任务成功率。
摘要：翻译与批注
翻译
尽管基础模型在语言与视觉方面取得显著进展，现有视觉语言模型的空间理解和具身理解仍然有限。将 VLM 迁移到具身领域，会暴露模态、预训练分布和训练目标之间的根本不匹配，使动作理解与生成成为通向通用人工智能（Artificial General Intelligence，AGI）的核心瓶颈。
我们提出 WALL-OSS，一种端到端具身基础模型，利用大规模多模态预训练实现：（1）感知具身特征的视觉语言理解；（2）较强的语言与动作关联；（3）稳健的操作能力。该方法采用紧密耦合的架构和多策略训练课程，实现统一跨层级思维链（Unified Cross-Level CoT），在单一可微框架中无缝统一指令推理、子目标分解与细粒度动作合成。
结果表明，WALL-OSS 在复杂长时程操作中取得较高成功表现，展现出较强的指令跟随、复杂理解与推理能力，并超过强基线，从而为从 VLM 走向具身基础模型提供可靠、可扩展的路径。
批注
引言与相关工作：三个不匹配如何引出方法
按原文八个正文段落拆解
以下对应第 1–3 页引言；三段带有 Gap 小标题，第 7 段跨第 2–3 页延续，图 1 的说明不计作引言正文段落。
第 1 段：设定研究终点。 语言与视觉基础模型已能理解多模态输入，但作者认为它们仍缺乏物理交互反馈和可执行动作。由此将研究重点落到动作理解与生成。
第 2 段：解释为何从 VLM 迁移。 图文数据丰富，配对的视觉语言动作数据却稀缺且异质。从零训练难以获得泛化，于是借用已有视觉语言先验。这里建立数据条件，而非证明迁移一定有效。
第 3 段：指出简单迁移的两难。 直接接动作头并微调，可能让预训练参数漂移；尽量隔离原有知识，又可能使语义与控制关联不足。作者据此引出后续三种不匹配。
第 4 段：模态与数据规模不匹配。 文字与压缩视觉特征已有大量对齐训练，动作却是连续时空信号，且一句高层指令往往省略多个子任务。作者同时讨论独立规划／技能流水线的接口误差，以及借助 3D 模态的路线；这些是研究动机，不是本文对所有路线的实证否定。
第 5 段：预训练分布不匹配。 第一视角、鱼眼成像和自身遮挡，使机器人画面不同于互联网图片；空间定位和进度判断因此需要具身监督。图 1 用案例说明这一动机，不能单独作为大规模能力测评。
第 6 段：训练目标不匹配。 文本使用离散 token 的下一项预测，连续动作更适合扩散或流匹配。作者认为直接拼接两类目标难以形成紧密的文字与动作关联，为“先离散、再连续”的训练课程作铺垫。
第 7 段：提出对应路线。 紧密耦合的专家架构和阶段训练处理目标差异；具身 VQA 与离散动作先验处理分布差异；统一 CoT 将高层语义逐级连接到细动作，处理模态关联困难。三个问题在这里与方法一一对应。
第 8 段：总结贡献与开放资源。 原文没有编号为固定三项的贡献列表，而是概括：方法上建立架构耦合与课程设计；实验上验证指令跟随、组合推理和长时程控制；更广泛地提出跨越语义与感知运动差异的路线，并宣布开放训练代码与模型检查点。其“最优”“理论洞见”等措辞属于作者声称，本文以具体实验及公开的形式化描述判断证据范围。
三类相关工作与本文区别
-
语言、视觉与操作基础模型： 已有 VLA 用动作 token 或连续动作头，将预训练 VLM 连接到控制。本文区别是先把离散动作先验学进语言输出空间，再优化流匹配分支，并采用静态路由的紧密耦合结构。原文将 ACT 与离散 token 方法并列，属于宽泛分类；本文不据此把 ACT 解释成 FAST／BPE 动作分词模型。
-
多模态与机器人数据共同训练： 已有工作用图文、视频及多机器人数据保持开放世界理解、改善迁移。本文强调具身认知监督，把指令、推理、子任务和动作组织到统一格式，并通过混合配额与两阶段课程限制表示漂移。
-
语言推理与子任务分解： 独立规划器加控制器可简化训练，但作者指出接口不匹配与多阶段误差累积。本文用单模型 Uni-CoT 学习多种层级映射，允许包含或跳过中间推理；是否在所有任务上优于流水线，仍须由实验检验。
核心方法：先建立动作语义，再学习连续控制
网络：共享注意力，分开处理两类特征
问题： 既要保留视觉语言能力，又要让动作与目标紧密关联，完全混用参数或完全独立的控制分支都可能存在取舍。直觉： 在共同的信息交换层中联系图文与动作，再让不同前馈网络处理各自特征。
原文： 视觉语言骨干为 Qwen2.5-VL-3B；模型采用混合专家（Mixture-of-Experts，MoE）设计，以静态路由（Static Routing）将视觉语言特征送入 Vision-Language FFN，动作相关特征送入 Action FFN。自注意力（Self-Attention，SA）承担跨模态交互，前馈网络（Feed-Forward Network，FFN）分别加工两类特征。
| 路径 | 输入与处理 | 输出及形状 |
|---|---|---|
| 图像与语言 | 第一视角及臂上图像、指令 → 骨干编码 → 共享注意力与视觉语言 FFN | 图文特征 h；视觉 token 数、隐藏宽度未报告 |
| 文本输出 | 图文条件 → 语言头（Language Modeling Head，LM Head） | 推理或子任务 token；各位置预测词表概率 |
| 离散动作 | 示范轨迹 → FAST 编码；训练时按前缀预测后续 token | K 个离散动作 token；K 不等于轨迹步数 T |
| 连续动作 | 图文条件、Robot State、同轨迹形状的噪声及生成进度 → 注意力交互 → 动作 FFN 与 Flow Head | T × d 的速度场，数值积分后得到同形状动作轨迹 |
用于解释静态路由的形式化示意，不是新增原文算法：
qᵢ 是注意力处理后第 i 个位置的特征向量，宽度记为 D；两分支须产生可送入后续网络的兼容表示，具体宽度与投影未报告。i 是序列位置，D 是无物理单位的特征维数。与学习 softmax／top-k 门控的 MoE 不同，这里按特征类别选择分支，不是模型对每个位置重新估计专家概率。
最小例子： 用一个仅用于解释的 5 位置序列 [图像，图像，指令，动作，动作]，静态规则将前 3 个位置送到视觉语言 FFN，后 2 个送到动作 FFN；共享注意力仍允许它们交换信息。实际状态 token 的编码和具体路由归属，论文未展开，不能用此例补齐实现。
维度边界： 若一个解释性动作块有 T=3 步、d=2 个有效控制量，输出是 3 × 2 共 6 个数；批量 B=4 时为 4 × 3 × 2。T、d、B 都是数量，不是频率。图 3 写出 (a₁,…,a₂₀) 仅是示意，正文没有确认统一块长为 20，也没有给出完整动作接口、补齐维数或模型总参数量。“3B”是骨干名称，不能当作加上动作分支后的完整规模。
Inspiration：用离散动作和具身问答建立先验
问题： 原始 VLM 缺少机器人场景知识，也未学过文字与动作轨迹的对应。直觉： 先使用它熟悉的序列预测方式，既训练具身问答，也预测示范轨迹的离散编码，使动作学习与语言建模有共同接口。
原文第 5 页公式，统一重命名符号以避免全文冲突：
A∈ℝᵀˣᵈ 是示范连续轨迹；C=(V,L) 是视觉输入 V 与指令 L；yⱼ 是第 j 个问答文本 token，zₖ 是第 k 个离散动作 token；下标 <j、<k 表示已有前缀。θ 是视觉语言路径参数，pθ 是下一 token 的条件概率；λᵥ、λᴅ 是两类损失的无单位权重。K 是编码长度，论文未给出固定值。
FAST 是高效动作分词（Efficient Action Tokenization）方法，图式中的流程为：离散余弦变换（Discrete Cosine Transform，DCT）→ 量化（Quantization）→ 字节对编码（Byte-Pair Encoding，BPE）。解释： 先将随时间变化的轨迹换到频域表示，再量化并压缩为 token；它不是简单地给每个关节角套一个文字词。本文没有报告所用 FAST 配置、量化精度或词表大小，不能补写其他论文的默认参数。
最小数值例子： 若一个正确文本 token 的预测概率为 0.8，正确动作 token 的概率为 0.5，且两项权重都为 1，则这两个位置的损失为 −ln(0.8)−ln(0.5)≈0.916。损失鼓励正确序列的概率上升，不直接测量抓放误差。
训练时用真实问答和 FAST 动作序列监督，复用原 VLM 的 FFN；该阶段可输出 CoT、子任务及离散动作 token。离散监督的作用是建立动作先验，后续阶段转向连续生成，因此不能把最终部署流程写成“必须先预测 FAST，再解码成连续动作”。
注意： 原文还提到掩码语言建模、图像／视频与文本对比学习、指令跟随及时序／因果建模，但展示的公式只显式列出文本与离散动作两项。其余目标的完整损失、权重和调度未给出，不应声称这条公式完整描述了所有实现细节。
Integration：从噪声生成连续动作
问题： 离散先验建立了语义关联，但最终执行需要连续数值控制。直觉： 给示范动作逐渐加噪，训练模型识别“沿加噪路径应向哪个方向移动”；推理时从噪声反向沿学到的方向生成动作。这是流匹配（Flow Matching）。
原文第 5 页公式，重命名生成进度为 τ，并保留其方向：
A 是干净动作，ε 是同形状高斯噪声，A^τ 是带噪动作，三者均为 T × d；h 是视觉语言编码，φ 是连续动作路径参数，vφ 是同形状的预测速度场。τ 是无单位的内部生成进度，ρ 是噪声调度，w 是损失加权函数，λᴄ 是连续损失权重；期望来自动作数据、噪声及生成进度采样。这里的“速度”是生成空间中的变化方向，不自动等于电机速度。
最小数值例子： 在归一化动作的一个元素上，取 A=0.6、ε=−0.2，并仅为解释设 ρ(τ)=τ、τ=0.5，则 A^τ=0.2，目标方向 ε−A=−0.8。若预测为 −0.7，且该项权重均为 1，其平方误差是 0.01。该例中的数值没有米或弧度单位；真实控制量需按数据规范解码。
方向必须看清： 在线性解释例中，τ=0 是干净动作，τ=1 是噪声。因此生成动作需从 1 向 0 积分，而不是把加噪方向直接执行到机器人上。
用于说明反向积分的欧拉更新（Euler Update），不是论文指定的求解器：
Δτ 为无单位内部步长。延续上例，当前值 0.2、方向 −0.8、Δτ=−0.1，更新为 0.28，即向干净动作 0.6 靠近。更新的是整块动作数组，内部迭代一次不等于机器人运动一步。
注意： 论文把 ρ 写成一般调度，却将目标直接写为 ε−A；对一般非线性 ρ，插值路径的导数还涉及 ρ′(τ)。本文忠实保留原式，数值例只采用线性路径，不推断未公布的调度、τ 分布、积分次数或求解器。公式也省略了图 3 中的 Robot State 条件，不能据此认定状态未参与网络。
两个主阶段，连续阶段又分两步
原文： 本文在已有 VLM 预训练之后，安排 Inspiration（启发）与 Integration（整合）两个主阶段；Integration 内部再划分冻结与解冻两步。基础 VLM 的原始预训练不是 WALL-OSS 新设计的第三个主阶段。
| 阶段 | 监督和输出 | 参数更新 | 解决的问题 |
|---|---|---|---|
| Inspiration | 具身 VQA、文本／子任务／CoT、FAST 离散动作 | 复用并训练原 VLM 路径；未报告完整冻结细表 | 建立机器人场景理解与动作语义先验 |
| Integration Phase 1 | 连续动作流匹配 | 冻结 VLM，训练动作 FFN 下的 flow head／动作路径；具体参数边界未完整列出 | 先让新连续分支使用已有先验 |
| Integration Phase 2 | 连续动作流匹配并联合优化 | 解冻 VLM，更新 θ 与 φ | 进一步对齐视觉、语言与连续动作 |
解释性例子： Phase 1 的某批动作误差只能改变连续分支；Phase 2 的同类误差也能改变骨干参数。冻结不是永久隔离，解冻也不表示抛弃了前一阶段学到的动作先验。
这是“分阶段改变表示、目标与可训练参数”，不是训练两个独立机器人模型后拼接。原文第 4 节同时描述两阶段采用来源混合与配额控制，第 5 节报告下游动作／VQA 混训；但 v1 没有给出完整预训练配方、各步数和全部目标权重，无法仅靠图 4 精确复现训练。
Uni-CoT：允许完整推理链，也允许直接执行
问题： 类似画面可能对应不同任务阶段；独立规划器的子任务也可能与控制器脱节。直觉： 在同一模型中学习层级之间的对应，并在训练时让部分样本不依赖中间推理，兼顾复杂任务与直接控制。
原文第 6 页的统一目标，重命名以避免与噪声变量冲突：
Θ 是统一模型的参数集合；G 是动作预测路径，Q 是具身问答路径；V 是当前视觉，L 是任务指令，R 是可选 CoT／中间推理，A∈ℝᵀˣᵈ 是目标动作，Y 是问答监督，λ 是无单位的损失平衡权重。动作损失按所在阶段对应动作建模目标，VQA 损失评价问答预测。式中的 G 为动作预测器；其内部流匹配的噪声与时间条件在此抽象表达中省略。
作者称其为路径丢弃（Path-drop）目标：训练允许带中间推理的完整路径，也允许 R 缺省的直接路径。最小例子： 同一类“拼 FIVE”样本，一条路径提供“已有 F、I，下一块 V”，另一条只提供图像与目标指令；若某样本动作损失为 0.2、VQA 损失为 0.4，λ=0.5，则组合损失为 0.4。路径丢弃比例、精确采样算法和推理选择规则没有报告。
下游长时程任务中，模型先生成子任务，再将它作为动作条件；颜色文字匹配与拼字任务还生成 CoT。原文也描述推理与执行交错进行，但未报告决定何时调用推理、异步调度及时间成本的完整机制，不能把“可跳过”解释成已经公开了一个确定的任务难度判断器。
注意： “同一模型中的端到端训练”是作者的架构主张。上述联合损失并未展示如何通过已经采样的离散文字反传动作梯度；不能据此断言控制误差必然穿过每一个文字生成步骤。它证明的是作者定义了共享模型与多目标学习，不是给出了所有梯度实现细节。
将训练与推理完整串起来
训练：
图像＋指令＋问答／过程标注 → 图文路径 → 文本、推理、子任务监督
Inspiration：示范动作 → FAST → 离散 token 序列预测损失
Integration：示范动作＋噪声＋内部进度 → 带噪动作
图文条件＋机器人状态＋带噪动作 → 连续路径 → 速度场损失
先冻结 VLM，再解冻联合优化
Uni-CoT：用带／不带中间推理的样本学习不同层级映射
推理：
当前相机画面＋任务指令 → 图文表示
按任务路径生成或跳过 CoT／子任务；生成的文字作为后续条件
图文条件＋机器人状态＋新噪声 → 连续速度场 → 内部积分 → 动作轨迹
动作解码至平台控制接口并执行；后续观测为下一次决策提供条件
解释： 架构负责让信息相互联系，离散阶段负责建立语义与动作先验，连续阶段负责数值生成，Uni-CoT 负责连接目标与任务进度。论文没有描述每次执行多少步、是否融合重叠动作块，也未提出 ACT 的时间集成或 CVAE；不能将这些机制补进 WALL-OSS。
数据与平台：既教“看懂”，也教“怎么做”
三类数据各自承担什么
| 数据来源 | 图 5 标注 | 内容与作用 |
|---|---|---|
| 自采机器人动作 | 57.5% | 日常操作、高质量复杂轨迹及过程标注，覆盖厨房整理、穿衣／收纳、移动抓放、装配等 |
| 开源机器人动作 | 33.1% | 包括 DROID、BC-Z、BridgeData V2 等，增加平台、环境和操作风格变化；完整来源见原表 1 |
| 多模态 VQA | 9.4% | 通用问答保持图文能力；具身问答补足空间、时序、进度和可交互性理解 |
注意： 三项相加为 100%，但原图未清楚定义占比按时长、样本还是混合权重计算，不能据此推算各来源小时数。第 4 节开头称语料“超过 10,000 小时”，第 4.4 节又称“超过数万小时”；v1 未提供统一明细，本文保留两种表述，不将其换算为确定总量。
自采数据沿用原文两类任务：明确指令下的短时程操作，强调精度与泛化；目标清晰但步骤隐含的长时程推理任务，需要分解、跟踪进度与连续决策。其标注采用多模型生成加人工抽查，质量控制包括传感器时间戳同步、异常过滤、移除低质量／空闲帧、规则与人工审核、光照／背景增强。
具身 VQA 包含动作规划、空间与时间问答、感知属性、认知与可供性（Affordance，即物体允许哪些交互）。标注使用边界框、点、可选掩码及自然语言问答；例如 <point>[x,y]</point> 表示图像中的二维位置，不是机器人三维抓取坐标，正文未统一说明坐标是否归一化。
跨平台统一与未公开的配置
原文： 数据覆盖桌面机械臂、移动支架、轮式双臂与轮式类人平台，具有第一／外部视角和臂上相机。开放数据统一位置单位为米、角度为弧度；用最大表达自由度模板加掩码或占位处理缺失关节，并对齐相机内外参、时间戳、图像通道和动作时间网格。
解释： 这种统一使不同来源能进入共同训练接口，不代表所有机器人具有相同自由度，也不等于未经适配就能互换策略。补齐位置不应当作实际电机控制量。
v1 未报告各平台的具体硬件型号、相机数量与分辨率、控制／采集频率、统一状态与动作维数、全部任务时长、GPU 配置、batch size、学习率或阶段训练步数。图 5 的硬件照片只能说明代表平台，不能从照片猜规格。
作者称按场景、物体、任务和形态分层构建验证／测试集，并对长时程与稀有技能重采样、采用配额混合；但未公布完整划分数量、采样温度或去重细节。这支持理解训练设计，尚不足以完整复现数据划分。
实验：理解、推理与动作分别得到多少证据
任务、微调和评估条件
| 任务 | 主要测什么 | 第 5.1.1 节微调示范数 | 预训练／微调边界 |
|---|---|---|---|
| Instruction-Pick-Place | 按语言选择物体与目标容器 | 不做该任务微调 | 用于零样本评估；仍使用已有机器人预训练 |
| Place-by-Color | 直接颜色匹配或颜色文字推理 | 500 episodes | 原文称该任务未见于预训练 |
| Block-Spell | 认图／计算后按顺序摆字母 | 1,600 episodes | 有任务微调，不是零样本拼字 |
| Set-Table | 为两人安排盘子、刀、叉 | 1,500 episodes | 原文称未见于预训练，随后微调 |
| Tidy-Bedroom | 收衣服并整理枕头 | 1,000 episodes | 原文称未见于预训练，随后微调 |
| Collect-Waste | 移动至垃圾桶、拾取并投放 | 900 episodes | 结果章节另写 1,000 demonstrations，口径不一致 |
| Pick-Place-Cup | 调整杯子／盘子状态并放置 | 500 episodes | 测试倒置杯子、把手方向和盘子位置等变化 |
注意： 第 5.1 节称“六项机器人操作任务”，第 5.1.1 节和图 6 实际列七项；图 7 汇总六项有微调任务，零样本 Instruction-Pick-Place 在正文单独报告。本文按具体名单区分，不能将预训练未见任务写成微调未见，也不把冲突的垃圾示范数自行合并。
基线为 π0 和扩散策略（Diffusion Policy，DP）。高层指令的 Flat 设置直接训练动作；GPT4-Subtask 设置用人工标注子任务训练，并在推理时调用 GPT-4 生成子任务。Block-Spell 的 Flat 基线进度接近零，作者因此在图 7 报告该任务的 GPT-subtask 基线，不能把所有柱子视为完全相同的指令设置。
作者称模型接收相同任务监督，但 WALL-OSS 额外支持动作与 VQA 的联合训练：非子任务 VQA 采样比写为 1:15，子任务样本为 1:100。原文未充分解释两边计数单位和顺序，不将它们换算成精确帧占比。“相同任务监督”也不等于全部训练数据与计算预算完全相同。
评估由不参与训练的第三方按环境、初始状态与评分文档盲测；VQA 采用人工评价。v1 未完整公布测试次数、评分细则、误差条或置信区间。第三方盲测有助于减少主观偏差，但不能补足这些统计信息。
具身 VQA：最明显的是定位改善
原表 2，第 11 页：
| 评估类别 | Qwen2.5-VL-3B | WALL-OSS | 差值（百分点） |
|---|---|---|---|
| 物体定位（Object Grounding） | 46.1% | 91.6% | +45.5 |
| 场景描述（Scene Captioning） | 57.7% | 87.6% | +29.9 |
| 动作规划（Action Planning） | 59.8% | 69.0% | +9.2 |
解释： 模型在机器人画面里找物体、描述场景的人工评估表现改善最多；规划提升较小，作者也指出两模型仍会误判当前任务阶段。这个表支持“具身场景理解改善”，不证明通用图文问答能力没有任何遗忘，更不表示 91.6% 的机器人抓取成功率。
零样本指令跟随：任务进度不是成功率
原文第 11–12 页： Instruction-Pick-Place 不进行任务微调，预训练见过的物体／容器指令平均任务进度为 85%，全新物体指令为 61%。作者观察到主要失败与陌生物体的抓放姿态小偏差有关，而非选错语义目标。
注意： 零样本只指没有这项任务的专门微调；模型已接受机器人与多模态预训练。上述两个数是平均任务进度（Task Progress），不是完整成功的试验比例。正文引用图 7，但该图没有单列 Instruction-Pick-Place 或这两组柱形，因此数字以正文陈述为依据，不写成图中读数。
动作精度与长时程：优势依任务而变
看图结论： WALL-OSS 在拼字、摆桌、整理卧室等依赖推理或进度的任务上优于图中基线；垃圾收集的 ID 柱形与 π0 都达到顶端；杯盘任务则 π0 的柱形更高。图中没有标注各柱精确数值，本文不把目测高度抄成精确成功率。
正文第 12 页另以 success rate 描述动作实验： Collect-Waste 的 ID 设置中 WALL-OSS 与 π0 为 100%，DP 为 80%；Pick-Place-Cup 中两预训练模型超过 90%，DP 低于 20%；新环境垃圾收集中，正文称 DP 从 80% 降到 0%，两预训练模型保持超过 80%。
注意： 这些 success rate 与图 7 的 Task Progress 不属同一标注口径，部分值也不能直接对应，例如图中垃圾收集的 DP ID 进度约为四分之三，OOD 的 WALL-OSS 进度也约为四分之三。v1 未解释二者关系，本文分别保留正文报告与图中指标，不推算混合平均成功率。
原文： Set-Table 与 Tidy-Bedroom 都超过五个连续阶段，平均执行时间分别超过 3 分钟、5 分钟。微调动作与子任务联合训练，长时程实验称仅 1% 训练数据具有子任务标注；推理时先产生子任务再引导动作。作者观察到基线会重复摆餐具、遗漏另一处桌位，或因衣物离开视野而陷入重复动作。
解释： 这些结果支持显式进度与子任务的价值，但“超过 3／5 分钟”是完整任务耗时，不是模型推理时延。多个预训练模型优于 DP 也支持本文设置下预训练有益，却不能独立证明差异全部来自预训练：初始化、容量及架构同样不同。
推理与混训：最有力的对照来自细粒度指令
Place-by-Color 的直接视觉颜色匹配中，作者称 CoT 收益很小；要将球放到写有颜色词的纸上时，推理的作用更明显。Block-Spell 需要先认图或计算，再生成答案字母序列。原文第 13 页称这两项实验只在 1% 训练帧上监督 CoT 和子指令；这与长时程章节的“1% 训练数据”保留各自单位，不统一改成“1% episodes”。
原表 3，第 14 页：按精确指令选择字母／数字积木的准确率。
| 积木类型 | WALL-OSS 多模态共同训练 | WALL-OSS 仅动作训练 | π0 仅动作训练 |
|---|---|---|---|
| 字母 | 87% | 26% | 9% |
| 数字 | 95% | 80% | 35% |
多模态版本联合训练动作生成、CoT＋子任务生成、二维指代表达定位；WALL-OSS 的仅动作版本根据子任务指令训练动作。这里改变的是下游微调方式，“仅动作”不代表 WALL-OSS 完全未做过多模态预训练。
解释： 对同一 WALL-OSS，字母准确率提升 87−26=61 个百分点，数字提升 95−80=15 个百分点，支持持续多模态监督有助于将细粒度目标连到动作。但该对照同时加入多项监督，不能分离究竟是二维定位、CoT 还是子任务各自贡献多少；它测的是选对目标的指令准确率，也不是整词全部拼对的成功率。
结论与适用边界
本文最值得带走的方法： 不把动作头视为图文模型的附属输出，而是用具身认知数据补足输入理解，用离散到连续的课程建立动作关联，再用共享模型连接目标、推理、阶段与执行。实验对空间定位和细粒度目标选择给出了明确量化支持，长时程与推理任务也显示相对基线的收益。
结论应止于以下范围：
-
精细控制并非全面领先。 第 6.1 节明确承认 π0 在精细操作上仍更优；“超过基线”不能扩大为所有任务、所有动作指标都第一。
-
并非所有组件都有独立消融。 表 3 支持多模态微调的整体作用；正文虽然声称 Inspiration 的收益，但 v1 没有列出完整的去掉该阶段、静态路由或 path-drop 的逐项量化对照，难以单独归因。
-
统计与复现信息有限。 任务数、数据时长、垃圾示范数与结果指标有口径差异，测试次数和置信区间等也未完整报告。本文已在对应位置标明，不用猜测消除这些差异。
-
实时与广泛迁移仍需验证。 作者描述异步推理和跨平台训练，但未给出延迟、频率、全部控制接口与足够的跨形态测试结果；不能据此承诺特定硬件上的实时运行或零适配迁移。
-
3D 与视频是未来方向。 讨论提出未来帧预测、3D 感知和世界建模可能帮助连接语义与动作，并未证明 WALL-OSS 已使用这些中间模块，也未证明本文解决了通用具身智能。
本文未加入具体产品的迁移配置；若用于另一机器人，需另行确定相机／状态接口、动作单位与维数、控制周期和安全执行条件，不应将应用设定混入原论文结果。