AW-0 / Dojo X5 指令对照
PRETRAINED AW-0 · CROSS-DATASET PROBE

同一画面,换一句指令。

17 个 Dojo X5 状态 · 187 条预测 · 277 个 chunk。固定画面、状态和随机种子,比较视频、动作与代码是否随指令改变。

这是跨数据集响应实验,不是成功率测试。AW-0 使用 YAM+人类视频预训练权重,未在 Dojo 上微调。X5 与 YAM 不是相同机器人。相机槽位和位姿格式已对齐,但机器人坐标与相机外参未校准;Dojo 中出现过的文本,不代表 AW-0 预训练见过。动作图的毫米数来自模型自身归一化的逆变换,不能当作 X5 控制精度。
实验条件与结果边界

复用之前经输入画面审查的 17 组干扰:9 个 episode 起点换目标,5 个运动中保持,1 个抓住笔筒后放下,2 个抓住簸箕后抬起。选择在 AW-0 输出前固定。所有条件使用相同的实际种子 42 / 314。原指令、新阶段与重复对照在起点连续生成 3 个 chunk,其余生成 1 个 chunk。每个 chunk 为 32 步动作、三视角各 9 帧;按 AW-0 原生 30 Hz / 7.5 Hz,3 个 chunk 覆盖 3.2 秒。

连续推理仅反馈自己生成的最后一帧及最后一个解码位姿,不使用真实未来。无手指关节的槽位归零,状态遵循官方归一化截断;保持指令要求维持当前夹爪状态。没有运行生成代码或仿真。公开预训练语料不可得,指令及场景的预训练覆盖未知。

使用官方代码行为;保留其代码专家复数位置缓存转实数的警告,未擅自更改预训练推理。视频差异和代码变化不能单独证明指令被正确执行。

完整校验与指标
MEASURED RESPONSE

指令变化,与随机种子变化相比

用种子对照判断指令响应强度。

起点替换动作的单 chunk 位置差异中位数为 1.79 mm,种子对照为 9.72 mm;连续 3 chunk 分别为 6.89 / 25.50 mm。保持指令的运动量 / 原运动量中位数:起点 0.38,中间状态 0.72。这些是预测敏感度,不能当作动作正确率。

下表比较固定输入与种子时的指令差异,以及相同指令更换种子的差异。重复推理作为数值一致性对照。输出变化不等于正确执行动作;毫米数是模型坐标中的差异。

数字为配对差异的中位数。位移:双臂解码位置的平均差异;像素:未压缩未来 RGB 的平均绝对差异(0–255)。代码是字符串是否改变,不代表程序正确。

状态 / 长度替换条件动作差异 / 种子差异像素差异 / 种子差异代码改变 / 种子
COMPARE SIDE BY SIDE

视频、动作与代码一起看

正在加载…
原始三路输入画面

输入顺序:head / hand_left / hand_right。相机槽位对齐不等于相机标定一致。

0.00 s
本组双臂位置差异
本组未来 RGB 差异
反馈状态截断

解码后的动作轨迹

相对初始位置的位移(mm,借用输入坐标系,未作 X5 标定)。绿色:原指令;橙色:替换条件。夹爪输出未裁剪。

X 位移

Y 位移

Z 位移

夹爪值

模型生成的代码(只展示,不执行)

下载当前状态的动作与代码 JSON