计划改变时，请记住：面向 Vision-Language-Action 模型的重规划引导视觉记忆

arXiv:2610.22556v1 公告类型：cross 摘要：长时程、多阶段的视觉-语言-动作（VLA）策略通常需要当前观测中已不再存在的视觉信息。保留完整的观测历史在计算上代价高昂且存在大量冗余，因此需要选择性视觉记忆。我们提出 RePlanMem-VLA（面向 VLA 的重规划引导关键帧记忆），将策略自身的计划修订转化为在线记忆写入信号。在滚动时域执行过程中，相邻的动作块会预测部分相同的未来动作。RePlanMem-VLA 将这些时间对齐的预测之间异常大的分歧视为与任务相关事件的证据。我们首先在从头训练的单任务自回归仅解码器模型和 Flow-Matching Transformers 上比较了 35 种分歧度量，随后在 MIKASA-Robo-VLA 任务上使用预训练的 OpenVLA-OFT 和 $\pi_{0.5}$ 策略验证所选信号。最终得到的检测器 ROC-AUC 达到 0.981–0.997。随后，我们在 RePlanMem-VLA 中使用所选信号触发有界视觉记忆的更新，并通过机器人掩码写入过滤器抑制冗余帧。在评估的记忆保留实验中，RePlanMem-VLA 在 100% 的回合中都能将与任务相关的观测保留到后续决策点。真实机器人回放数据进一步表明，事件选择和冗余抑制能力可以超越仿真环境。这些结果确立了计划修订作为一种策略内部信号，可用于控制 VLA 记忆的内容。网站：https://vika787.github.io/RePlanMem/。