同一画面,换一句指令。
17 个 Dojo X5 状态 · 187 条预测 · 277 个 chunk。固定画面、状态和随机种子,比较视频、动作与代码是否随指令改变。
实验条件与结果边界
复用之前经输入画面审查的 17 组干扰:9 个 episode 起点换目标,5 个运动中保持,1 个抓住笔筒后放下,2 个抓住簸箕后抬起。选择在 AW-0 输出前固定。所有条件使用相同的实际种子 42 / 314。原指令、新阶段与重复对照在起点连续生成 3 个 chunk,其余生成 1 个 chunk。每个 chunk 为 32 步动作、三视角各 9 帧;按 AW-0 原生 30 Hz / 7.5 Hz,3 个 chunk 覆盖 3.2 秒。
连续推理仅反馈自己生成的最后一帧及最后一个解码位姿,不使用真实未来。无手指关节的槽位归零,状态遵循官方归一化截断;保持指令要求维持当前夹爪状态。没有运行生成代码或仿真。公开预训练语料不可得,指令及场景的预训练覆盖未知。
使用官方代码行为;保留其代码专家复数位置缓存转实数的警告,未擅自更改预训练推理。视频差异和代码变化不能单独证明指令被正确执行。
完整校验与指标指令变化,与随机种子变化相比
起点替换动作的单 chunk 位置差异中位数为 1.79 mm,种子对照为 9.72 mm;连续 3 chunk 分别为 6.89 / 25.50 mm。保持指令的运动量 / 原运动量中位数:起点 0.38,中间状态 0.72。这些是预测敏感度,不能当作动作正确率。
下表比较固定输入与种子时的指令差异,以及相同指令更换种子的差异。重复推理作为数值一致性对照。输出变化不等于正确执行动作;毫米数是模型坐标中的差异。
数字为配对差异的中位数。位移:双臂解码位置的平均差异;像素:未压缩未来 RGB 的平均绝对差异(0–255)。代码是字符串是否改变,不代表程序正确。
| 状态 / 长度 | 替换条件 | 动作差异 / 种子差异 | 像素差异 / 种子差异 | 代码改变 / 种子 |
|---|
视频、动作与代码一起看
输入顺序:head / hand_left / hand_right。相机槽位对齐不等于相机标定一致。
替换指令
打开完整视频 ↗解码后的动作轨迹
相对初始位置的位移(mm,借用输入坐标系,未作 X5 标定)。绿色:原指令;橙色:替换条件。夹爪输出未裁剪。