通过事后回顾学习提升 VLA 强化学习

arXiv:2607.09042v2 公告类型：替换 摘要：强化学习正越来越多地用于微调视觉-语言-动作（VLA）模型，但机器人交互成本高昂，而且当成功的轨迹稀少时，学习的样本效率会变得极低。当只有完成指令指定的任务才能获得奖励时，失败的轨迹就会被视为毫无价值，即使它成功执行了与该任务相关的行为。未能将正确物体放入碗中的机器人，仍可能将该物体移向碗，或将另一个物体放入碗中，展示出可复用于解决目标任务的物体和动作。这些行为定义了策略已经能够完成的辅助任务，即便策略尚不能完成更困难的目标任务，它们也能提供有用的学习信号。我们提出 $\textit{Learning from Hindsight (LfH)}$，将此类失败转化为额外的学习信号。LfH 利用预训练的视觉-语言模型，根据失败轨迹实际完成的行为对其重新标注，并在指令指定的任务和这些辅助任务上联合训练策略。在分布外的 LIBERO-PRO 操作任务上，LfH 仅用约为 GRPO 五分之一的轨迹就能达到相同的最终性能，并在多种 VLA 骨干模型上提高样本效率。在实体 Franka 机器人上，LfH 在 160 条训练轨迹内将成功率从 $0\%$ 提高到 $56\%$，而 GRPO 达到的成功率为 $22\%$。