AW-0 / G2 指令对照
PRETRAINED AW-0 · CROSS-DATASET PROBE

同一画面,换一句指令。

24 个 G2 仿真数据状态 · 264 条预测 · 424 个 chunk。固定画面、状态和随机种子,比较视频、动作与代码是否随指令改变。

这是跨数据集响应实验,不是成功率测试。AW-0 使用 YAM+人类视频预训练权重,未在 G2 上微调。相机槽位和位姿格式已对齐,但机器人坐标与相机外参未校准;G2 中出现过的文本,不代表 AW-0 预训练见过。动作图的毫米数来自模型自身归一化的逆变换,不能当作 G2 控制精度。
实验条件与结果边界

16 个 MimicGen episode 起点+每个任务首个 episode 的最后阶段中间状态,共 8 个。所有条件使用相同的实际种子 42 / 314。原指令、新阶段与重复对照在起点连续生成 3 个 chunk,其余生成 1 个 chunk。每个 chunk 为 32 步动作、三视角各 9 帧;按 AW-0 原生 30 Hz / 7.5 Hz,3 个 chunk 覆盖 3.2 秒。

连续推理仅反馈自己生成的最后一帧及最后一个解码位姿,不使用真实未来。无手指关节的槽位归零,状态遵循官方归一化截断;保持指令要求维持当前夹爪状态。没有运行生成代码或仿真。公开预训练语料不可得,指令及场景的预训练覆盖未知。

使用官方代码行为;保留其代码专家复数位置缓存转实数的警告,未擅自更改预训练推理。视频差异和代码变化不能单独证明指令被正确执行。

完整校验与指标
MEASURED RESPONSE

指令变化,与随机种子变化相比

本轮观察:指令会改变输出,但差异小于随机种子变化。

起点切换阶段的单 chunk 位置差异中位数为 9.09 mm,种子对照为 40.05 mm;连续 3 chunk 为 33.15 / 86.00 mm。对应像素差异为 5.63 / 19.50 与 9.07 / 23.91。

保持姿态后的预测运动量 / 原运动量,中位数为起点 1.02、阶段中间 0.98,未显示明显的整体运动抑制。仅给新阶段时,起点位置差异增至 16.11 mm;这与完整任务可能削弱阶段切换的解释相符,但文本格式和长度也同时改变,不能单独确定原因。

数字为配对差异的中位数。位移:双臂解码位置的平均差异;像素:未压缩未来 RGB 的平均绝对差异(0–255)。代码是字符串是否改变,不代表程序正确。

状态 / 长度替换条件动作差异 / 种子差异像素差异 / 种子差异代码改变 / 种子
COMPARE SIDE BY SIDE

视频、动作与代码一起看

正在加载…
原始三路输入画面

输入顺序:head / hand_left / hand_right。相机槽位对齐不等于相机标定一致。

0.00 s
本组双臂位置差异
本组未来 RGB 差异
反馈状态截断

解码后的动作轨迹

相对初始位置的位移(mm,借用输入坐标系,未作 G2 标定)。绿色:原指令;橙色:替换条件。夹爪输出未裁剪。

X 位移

Y 位移

Z 位移

夹爪值

模型生成的代码(只展示,不执行)

下载当前状态的动作与代码 JSON