何时停止惩罚动作？用于 VLA 强化学习的 Martingale GRPO

视觉-语言-动作（VLA）执行轨迹的失败，并不意味着其中每个动作都促成了失败。然而，在组相对策略优化（GRPO）中，一条执行轨迹中的所有动作都被赋予同一个轨迹级优势值。因此，可能有用的恢复尝试也会与其旨在纠正的错误一同受到惩罚。本文利用成功概率鞅和策略得分鞅，刻画失败反馈的理想停止条件。在这些停止时刻，给定保留的信息，被移除的梯度贡献的条件期望为零。因此，截断能够保持参考 GRPO 组梯度估计量的期望，并可能降低其协方差。其中一种停止时刻出现在条件成功概率为零时，这启发我们利用错误与恢复线索来选择候选反馈边界。本文提出 Martingale GRPO（MART-GRPO），使用视觉-语言模型（VLM）进行事件引导的截断。该 VLM 使用低秩适应（LoRA）在我们标注的训练集上进行微调。冻结后的 VLM 在完整执行轨迹视频中定位最后一个未观察到后续恢复的可见错误。失败反馈保留至所选错误区间结束，之后的反馈则被移除，同时保留成功执行轨迹的损失项和原始损失归一化方式。对于回溯确定的边界，本文分析期望与方差的变化，以评估其相对于理想停止条件的偏离。在 RoboTwin 2.0 上使用 OpenVLA-OFT 进行的实验表明，在多项任务中，MART-GRPO 相比全轨迹 GRPO 提高了成功率。