什么在何时重要？视觉运动模仿策略中的条件视觉锚定诊断与改进

视觉运动模仿策略在分布内的视觉条件下可以取得很高性能，但当引入视觉上相似的物体或容器时就会失败。我们将这种行为视为一个条件视觉锚定问题：成功控制所需的视觉目标会随操作阶段变化，而在更复杂的任务中，还会随所观察到的任务状态变化。借助 Action Chunking with Transformers (ACT)，我们系统地引入在颜色和形状相似性上可控的干扰物体和容器，并将失败定位到抓取和放置环节。我们发现，对干扰物的敏感性同时取决于视觉相似性的类型和操作阶段。基于这一诊断，我们评估了干扰物增强、阶段依赖的注意力正则化以及基于外观的视觉提示，作为相互补充的干预方法，以在保留控制所需空间信息的同时改进目标选择。这些干预显著提升了仿真环境和实体 UR3e 上的鲁棒性。我们进一步在一个预训练的视觉-语言-动作策略上考察了相同的失败模式，该策略应用于一个状态条件化的器械处理任务，其中医疗器械的可观察状态决定正确的目的地。综合来看，这些结果表明，即使底层操作技能仍然完好，视觉干扰物也会导致错误的物体或目的地选择；而显式改进目标选择，能够在不同的视觉运动策略学习范式中显著恢复性能。