多种成功之道：以多样性驱动的 RL 微调提升 VLA 泛化能力

arXiv:2610.09943v1 公告类型：交叉收录 摘要：强化学习（RL）微调通过闭环经验改进视觉-语言-动作（VLA）策略，但其在微调分布之外的泛化能力仍然有限。我们的分析揭示了探索过程的选择性重塑：RL 在整体上收缩行为范围，却使成功轨迹更加多样化，以更少的试验回合实现成功，并且相较于监督微调，覆盖了潜在任务有效解空间中的更多区域。对成功模式的更广泛覆盖可能在分布偏移下提供替代策略。受此启发，我们提出 DRIVE（Diversity-driven RL fIne-tuning for VLA gEneralization），将成功行为的多样性转化为显式的 RL 目标。DRIVE 将任务条件匹配的试验回合分组，通过时间对齐比较其轨迹，并根据相对行为多样性构建以成功为条件的内在奖励。这一设计鼓励对可行解进行更广泛的覆盖，同时避免奖励多样化的失败行为或表面的时序差异。在 LIBERO-Plus、ManiSkill3 和 RoboTwin 2.0 上，相较于常规 RL 微调，DRIVE 将 $\pi_0$ 的平均分布外（OOD）性能提高了 5.3 个百分点，将 $\pi_{0.5}$ 的平均 OOD 性能提高了 2.0 个百分点。在双臂 AgileX PiPER-X 平台上，DRIVE 进一步将平均 OOD 成功率从 64.1% 提升至 73.3%（提高 9.2 个百分点），表明这些增益在实体部署中依然得以保持。