广义近端策略优化：从散度视角统一 LLM 强化学习算法
Generalized Proximal Policy Optimization: Unifying LLM RL Algorithms from the Perspective of Divergence
精选理由
以散度统一理解并改进LLM强化学习算法，为探索策略设计提供理论保证，数学与编程任务表现显著提升。
AI 摘要
arXiv:2610.13015v1 公告类型：新提交 摘要：强化学习已成为增强 LLM 推理能力的基础范式。然而，主流方法近端策略优化（PPO）依赖于一种几何退化的裁剪代理目标，无法自适应地调整对策略偏移的阻力，导致过早裁剪和探索能力下降。后续变体通过零散的启发式修改缓解了这些问题。我们提出广义近端策略优化（GPPO），这是一个原理清晰的统一框架，用于从散度视角理解和设计 LLM 强化学习算法。我们建立了具有性能单调改进保证的广义 $f$-散度信赖域理论，并表明不同的 $f$-散度会诱导不同的几何结构和策略更新动力学。我们进一步引入了新颖的估计器拓扑结构，相较于传统的单样本蒙特卡洛估计，能够提供更忠实的散度估计。在这一框架下，PPO 及 DAPO、DPPO 和 RIPO 等近期变体均可视为特例，由此建立了具有理论依据的 {散度 $\times$ 估计器} 二维设计空间。在八个竞赛级数学和编程基准上的广泛实验表明，这两个维度都至关重要。表现最佳的 GPPO 实例在数学和编程任务上分别比标准 GRPO 提升最高 50% 和 14%，达到当前最先进的性能水平。