稀疏特征策略遗忘缓解视觉-语言-动作模型中的状态幻觉

arXiv:2610.09496v1 公告类型：交叉发布 摘要：视觉-语言-动作（VLA）模型利用预训练视觉-语言模型的丰富表征，在机器人操作任务中展现出强大的泛化能力。然而，反复出现的不可靠行为仍限制着它们在真实环境中的部署。本研究探讨了状态幻觉，这是一种反复出现的失败模式：VLA 持续采取行动，仿佛某个尚未实现的机器人-物体状态已经达成。我们的分析发现，状态幻觉伴随着对任务相关视觉区域的注意力减弱，而借助稀疏自编码器进行的机制解释揭示，当这些失败发生时，与幻觉相关的稀疏特征会被激活。基于这一分析，我们提出了 SOUL（Sparse feature pOlicy UnLearning），选择性地遗忘与状态幻觉行为相关的策略知识，其中，从幻觉失败和成功行为中识别出的稀疏特征分别作为明确的遗忘目标和保留目标。在仿真和真实环境中针对多种 VLA 架构开展的实验表明，我们的方法能够显著减少幻觉导致的失败并提高任务成功率，同时不会明显损害现有的操作能力。这些结果表明，可解释的特征分析为选择性地修改机器人策略中的不良知识提供了切实可行的基础。