将视觉语言动作模型适配至执行期间的未知视觉干扰
Adapting Vision-Language-Action Models to Unknown Visual Disruptions During Execution
精选理由
介绍SALT利用执行剩余轨迹自监督适应视觉干扰,提升机器人任务成功率且无需标注。
AI 摘要
机器人执行任务时可能会出现视觉干扰,使视觉语言动作(VLA)策略在不知道干扰类型或发生时机的情况下作出响应。我们提出了从剩余轨迹进行自监督适配(SALT)方法,该方法利用剩余轨迹——先前动作块中尚未执行的部分——作为测试时适配的自监督信号。由于相邻动作块在时间上存在重叠,剩余轨迹为当前预测在同一未来控制时间段内提供了时间对齐的目标。在视觉变化开始时,剩余轨迹可能保留着受干扰前形成的计划,因此将策略更新至该轨迹可以在变化过程中锚定适配方向(Transition Anchoring)。SALT保留适配后的策略并重新生成当前动作块,其剩余部分会在下一次重新规划时成为目标,从而沿执行轨迹持续传递修正(Sequential Correction Propagation)。监督信号完全来自策略自身的预测,无需干扰标注、专家动作或目标域示范;此外,一个仅使用正常轨迹校准的轻量级适配门控机制会决定何时开始更新。在LIBERO-10上,面对五种持续性视觉破坏,SALT将SmolVLA的平均成功率从43.9%提升至53.2%,将GR00T N1.7的平均成功率从58.7%提升至66.0%,同时基本保持正常性能。在真实机器人上,面对数字和物理干扰时的平均任务进展从0.49提升至0.61。