从预训练到熟练掌握：面向长时域操作、仅需极少人工干预的真实世界子任务 RL

arXiv:2609.21788v2 公告类型：replace-cross 摘要：预训练的机器人基础策略或许能够执行长时域任务中的大多数步骤，却会在少数关键子任务上反复失败。为监督微调（SFT）收集更多完整任务示范，需要操作员重复执行策略已经能够良好完成的行为。强化学习（RL）微调为弥合这一差距提供了有前景的路径，但现有方法仅依靠稀疏奖励时，难以解决长时域任务。我们提出 PARTS（Policy Adaptation with RL on Targeted Subtasks），一种真实世界子任务 RL 框架，专注于在这些瓶颈处进行练习，同时允许训练过程中的轨迹采集仅需极少人工干预。冻结的预训练策略在整个执行过程中提供基准动作，而由智能体生成的选择器和成功验证器则激活残差修正并提供局部结果奖励。即使完整任务成功样本十分稀缺，这些奖励也能支持从成功子任务中学习。训练过程将在线 RL 与成功重加权再训练相结合，每个经过再训练的残差策略都会重新部署，以收集更多经验。人工操作员在设置阶段识别瓶颈，并在需要时执行物理重置。在双臂 YAM 和单臂 Franka 任务上，PARTS 将完整任务成功率分别从 32% 提升至 61%，以及从 50% 提升至 95%；平均每个任务仅需数十分钟的真实世界 RL 轨迹采集。与现有真实世界 RL 微调方法相比，在相同机器人轨迹采集预算下，PARTS 将完整任务成功率提升了超过 25%，同时所需人工参与更少。