思维改变，行动改变：作为视觉-语言-动作策略控制面的推理链

arXiv:2603.12717v3 公告类型：替换交叉版本 摘要：视觉-语言-动作策略将摄像头图像和自然语言指令映射为机器人的运动动作。其中一些策略被设计为在行动前先以文本进行推理，生成一条推理链，并根据该推理链解码动作。提出这种设计的研究将推理链作为一种监督接口：人可以阅读和编辑其中的文本，以纠正策略。编辑后的推理链会对策略的运动动作产生什么影响——是修复动作还是破坏动作——此前仅得到部分测量。我们通过将确定性实体替换应用于策略接收的指令以及策略生成的推理链，同时测量修复和破坏这两个方向。在四个 LIBERO 仿真套件中涵盖 40 项任务的观测结果表明，当目标仅由语言决定时，破坏推理链的代价最为集中。在这种情况下，我们在 LIBERO-Goal 上使用 DeepThinkVLA 进行反事实干预，选择它是因为其推理链以纯文本形式公开。策略接收一条被破坏的指令，但其推理链被替换为该指令保持干净时策略生成的推理链。这条反事实正确的推理链挽回了损失成功率中的 47.8 个百分点，这是我们预注册的验证性检验。如果推理链仅仅复述摄像头图像已经确定的信息，那么替换它本来可能不会产生任何影响。然而，全部 10 项任务都朝着预测方向变化，尽管成功率仍比干净运行低 38.0 个百分点，而我们此前预测的差距为 5–15 个百分点。因此，推理链确实是一种有效的控制面：写入其中的文本会驱动机器人，文本正确时修复其行为，文本错误时破坏其行为。是否公开这种控制面是部署时需要权衡的问题，而其中一部分影响如今已经可以测量。