SynthDemo-RL：借助 LLM 引导的合成演示打破 VLA 适配中的零奖励困境

视觉-语言-动作（VLA）模型的微调通常依赖人工遥操作演示，而在成功轨迹很少被采样到的情况下，带有稀疏二值奖励的强化学习（RL）面临探索难题。我们提出 SynthDemo-RL，这是一种教师-学生框架：自动化教师将仿真器提供的特权状态转换为成功的操作轨迹，随后通过监督微调（SFT）从这些轨迹中蒸馏出 VLA 学生模型，最后使用基于任务成功二值奖励的 PPO 对学生模型进行优化。我们研究奖励覆盖率，即在固定评估协议下至少观测到一次成功的任务所占比例，将其作为平均成功率的补充指标。在 LIBERO-PRO 上——这是一个由经过扰动的 LIBERO 任务构成、且不存在演示数据的公开基准——对于在原始 LIBERO 任务上微调的 pi_0.5 策略，57 个计分任务中有 27 个的成功率恰好为 0%。从该策略直接进行 PPO，在使用与 SynthDemo-RL 优化阶段相同的 PPO 配方和相同 RL 计算量时，只能使其中 10 个任务摆脱这一困境，仍有 17 个任务保持 0% 成功率。SynthDemo-RL 为每个任务合成 50 条轨迹，且不使用新的人工演示，使全部 27 个任务的成功率都摆脱 0%，并在 LIBERO-PRO 的 Position 轴和 Task 轴上分别达到 97.8% 和 97.1% 的平均成功率。在标准 LIBERO 上，相同流程在不使用人工演示的情况下达到 96.0%，与每个任务使用 50 条人工演示训练的 pi_0.5 相差仅 1.7 个百分点。我们还在 RoboTwin 2.0 上进一步验证了该流程，并确认在 MuJoCo 双胞胎环境中训练的策略所生成的轨迹可以在实体机器人上以开环方式执行。