面向强化学习的双向 Voronoi 偏置探索课程

arXiv:2610.03395v1 发布类型：新 摘要：具有稀疏奖励的长时域任务给目标条件强化学习带来了探索瓶颈：从初始状态开始的策略很少能够到达目标，因此无法获得学习信号。参考运动、手工设计的课程和塑形奖励可以提供这一信号，但需要示范或针对特定任务进行工程设计；自动起始状态和目标课程虽然避免了这些要求，却通常只从一端扩展，因此必须从该端覆盖到目标的全部距离。我们提出了面向强化学习的双向 Voronoi 偏置探索课程（Bidirectional Voronoi-biased Exploration curriculum for Reinforcement learning，BVER），该方法同时从两端进行扩展。受双向 RRT 规划的启发，BVER 从目标向外扩展起始状态，从初始状态分布向外扩展目标，使两者都偏向未探索的任务空间，并引导它们彼此接近，同时利用两者训练一个目标条件策略。在点质量迷宫、四足机器人箱体攀爬以及机械臂将环转移到插销上的任务中，BVER 的学习速度均快于所有参与比较的无参考课程。在箱体攀爬任务中，与其中表现最佳的方法相比，BVER 在 0.4 米高的箱体上达到 95% 成功率所需的迭代次数约少 65%；它还是唯一能够学会攀爬 0.7 米高箱体的方法，并且得到的策略对起始状态、目标和偏航角变化具有鲁棒性。在没有示范的情况下，在 0.4 米箱体和环-插销转移任务中，BVER 的样本效率接近基于参考的课程。消融实验表明，从两端同时扩展优于仅从任一方向扩展。