同一画面,换一句指令。
24 个 G2 仿真数据状态 · 264 条预测 · 424 个 chunk。固定画面、状态和随机种子,比较视频、动作与代码是否随指令改变。
实验条件与结果边界
16 个 MimicGen episode 起点+每个任务首个 episode 的最后阶段中间状态,共 8 个。所有条件使用相同的实际种子 42 / 314。原指令、新阶段与重复对照在起点连续生成 3 个 chunk,其余生成 1 个 chunk。每个 chunk 为 32 步动作、三视角各 9 帧;按 AW-0 原生 30 Hz / 7.5 Hz,3 个 chunk 覆盖 3.2 秒。
连续推理仅反馈自己生成的最后一帧及最后一个解码位姿,不使用真实未来。无手指关节的槽位归零,状态遵循官方归一化截断;保持指令要求维持当前夹爪状态。没有运行生成代码或仿真。公开预训练语料不可得,指令及场景的预训练覆盖未知。
使用官方代码行为;保留其代码专家复数位置缓存转实数的警告,未擅自更改预训练推理。视频差异和代码变化不能单独证明指令被正确执行。
完整校验与指标指令变化,与随机种子变化相比
起点切换阶段的单 chunk 位置差异中位数为 9.09 mm,种子对照为 40.05 mm;连续 3 chunk 为 33.15 / 86.00 mm。对应像素差异为 5.63 / 19.50 与 9.07 / 23.91。
保持姿态后的预测运动量 / 原运动量,中位数为起点 1.02、阶段中间 0.98,未显示明显的整体运动抑制。仅给新阶段时,起点位置差异增至 16.11 mm;这与完整任务可能削弱阶段切换的解释相符,但文本格式和长度也同时改变,不能单独确定原因。
数字为配对差异的中位数。位移:双臂解码位置的平均差异;像素:未压缩未来 RGB 的平均绝对差异(0–255)。代码是字符串是否改变,不代表程序正确。
| 状态 / 长度 | 替换条件 | 动作差异 / 种子差异 | 像素差异 / 种子差异 | 代码改变 / 种子 |
|---|
视频、动作与代码一起看
输入顺序:head / hand_left / hand_right。相机槽位对齐不等于相机标定一致。
替换指令
打开完整视频 ↗解码后的动作轨迹
相对初始位置的位移(mm,借用输入坐标系,未作 G2 标定)。绿色:原指令;橙色:替换条件。夹爪输出未裁剪。