行为实验室 / 指令响应
STAGE 3 · 2.5K / 5K · 离线预测

听到了新指令,
但还没有稳定切换动作。

这次实验确认了指令敏感性;更明显的线索,是部分指令响应会受到历史画面的影响。

01 / 整体响应

位置变化与采样波动接近

10.27 mmvs 10.84 mm

5k 在 episode 起点:换指令的轨迹位移中位数,与换随机种子的对照量级接近。不能仅凭“动了”判断听懂了。

02 / 历史交互

撤离指令更依赖历史条件

0.128 → 0.824

5k「撤离笔记本」后的右夹爪均值:真实历史 → 仅重复当前画面。原指令下仍接近闭合。仅 2 个状态 × 2 个种子。

03 / 训练收益

动作误差改善 ≠ 切换能力提升

0.202 → 0.140

2.5k → 5k 的原指令归一化动作 RMSE 下降;新指令下的阶段切换仍不稳定,需要逐例看动作方向与夹爪响应。

新增:从 episode 起点连续 8 chunks 的原指令 / 干扰指令对比 →

32 GPU70 个状态2,232 次预测496 组重复精确一致闭环成功率尚未测
如何解读这些数字与实验边界

轨迹位移先对两臂和 32 个时间点取平均,再在配对实验中取中位数;指令和种子对照的样本数不同。所有替换文本均在训练数据中出现过,但并不保证适用于每个当前状态。夹爪 0 表示闭合、1 表示打开;输出未裁剪,不能当作抓取成功判据。

16 个验证 episode 均为 MimicGen,示范衍生关系未知。只预测未来 1.28 秒,没有环境执行。重复当前画面同时移除了运动信息、改变了输入分布,因此历史对照只能支持候选解释。刷子与笔记本候选由预测前的当前画面选定。

原始报告 · 全部实验条件 · 候选选择记录
EXPLORE THE EVIDENCE

把指令、视频和动作放在一起看

正在加载案例…
快速定位
干扰前的当前观测

加载中

当前阶段与完整任务说明

0.00 / 1.28 s

动作响应

位置变化 替换指令 − 原指令 / mm

X Y Z

夹爪输出 0 闭合 · 1 打开

原指令 替换指令

查看当前配对的原始数值与随机种子