ROVE：通过强化学习释放人形机器人操控中的人类干预潜力

arXiv:2606.17011v2 公告类型：替换交叉版本 摘要：人类干预为视觉-语言-动作（Vision-Language-Action，VLA）模型的后训练提供了关键的纠正信号。然而，由于复杂的全身运动学和灵巧手控制，实现无缝的人形机器人干预是一项极具挑战性的系统工程。因此，收集到的干预轨迹往往并非最优，而将人类干预作为专家监督的方法可能会吸收犹豫、低效甚至错误的行为。为同时应对系统和算法层面的挑战，我们提出了 ROVE，一种针对存在不完美人类干预的人形机器人 VLA 后训练的强化学习框架。首先，ROVE 引入了一套人在回路中的流程，能够收集人形机器人操控任务中的部署数据和干预数据。其次，该框架利用乐观价值估计（Optimistic Value Estimation，OVE）从不同质量的混合轨迹中优先筛选高价值行为。为了进一步提高价值估计的稳健性，我们引入跨具身的人类经验视频，为长尾失败模式和恢复模式提供丰富的监督信号。由此得到的评论器能够产生信息丰富的优势信号，引导 VLA actor 专注于高价值行为，而不是不加区分地模仿所有动作。在具有挑战性的真实世界接触密集型和细粒度人形机器人操控任务中，ROVE 优于基于经验学习的基线方法，并且在多轮 rollout-干预迭代中持续取得改进。