超越欧氏裁剪：通过黎曼等距策略优化克服 LLM 强化学习中的探索坍缩
Beyond Euclidean Clipping: Overcoming Exploration Collapse in LLM RL via Riemannian Isometric Policy Optimization
精选理由
揭示PPO探索坍缩的几何根因，提出RIPO提升LLM强化学习的探索与推理效果
AI 摘要
arXiv:2607.10169v2 发布类型：替换 摘要：强化学习（RL）已成为提升 LLM 推理能力的主流范式。然而，采用 PPO-Clip 的强化学习算法受探索坍缩的固有限制。后续工作仍主要依赖启发式方法，未能找出 PPO-Clip 失效的根本原因。本文揭示了 PPO-Clip 的基本缺陷：它使用欧氏度量隐式衡量策略差异，这在理论上与策略黎曼流形的内在几何结构不一致。这种几何不匹配导致算法在低概率区域的更新过于保守，而在高概率区域的更新过于激进，最终使探索能力坍缩。为纠正这一几何缺陷，我们提出黎曼等距策略优化（Riemannian Isometric Policy Optimization，RIPO），保证在黎曼流形上进行等距策略更新，从而有效平衡探索与利用。我们进一步证明，RIPO 实现了良好的偏差—方差权衡，有助于稳定优化过程。大量实验表明，在七个竞赛级基准测试中，RIPO 的表现显著优于现有的 LLM 强化学习算法；在 AIME24 上，其性能较 GRPO 提升最高达 60%。