QF3：采用过滤后 Q 梯度的快速流强化学习

arXiv:2610.08789v1 公告类型：交叉发布 摘要：流策略已成为从示范中学习机器人行为的标准策略类别，但强化学习对于改进预训练流策略，或通过交互从零开始学习流策略，仍然至关重要。我们提出 QF3（采用过滤后 Q 梯度的快速流强化学习），这是一种在线离策略强化学习算法，将流匹配与评价器的动作梯度相结合来训练流策略，并通过对流输出的单步预测反向传播该梯度。为将更新限制在评价器和该预测可靠的范围内，QF3 仅对保持在经验回放动作附近的动作维度应用评价器梯度。据我们所知，QF3 是首个能够从零开始训练人形机器人运动策略，并将其零样本迁移至实体硬件的离策略流强化学习方法。结合高吞吐量的离策略训练方案，QF3 在训练人形机器人运动和动作跟踪策略时，相比近期提出的同策略流强化学习方法 FPO++，实现了 10 倍的实际运行时间加速。我们进一步将 QF3 应用于 ABC-Sim 和 Robomimic 任务，微调预训练的基于流的操作策略。这些结果表明，QF3 既能从零开始学习机器人策略，也能改进从示范中习得的策略。网站：https://qf3-rl.github.io/