为什么 GRPO 需要归一化：从局部曲率视角看自适应梯度

arXiv:2601.23135v2 发布类型：替换 摘要：强化学习（RL）已成为推动语言模型推理能力发展的关键因素。在众多 RL 算法中，组相对策略优化（GRPO）已成为事实标准。它通过使用每个提示对应的基线和方差归一化，避免了对评论家模型的需求。然而，这种归一化为何有效以及何时有效，仍不清楚。在本文中，我们从序列级策略梯度的局部曲率角度回答了这两个问题：标准差归一化实现了一种自适应梯度。理论上，我们证明，在温和条件下，GRPO 相较于未经归一化的 REINFORCE 能够获得更快的收敛速度；其增益由跨提示和迭代的平均提示内奖励标准差刻画。我们进一步提出 IS-GRPO，这是一种 GRPO 的重要性采样变体，其期望更新仍与完整梯度保持一致，并证明了与 REINFORCE 相同形式的收敛保证；在实际训练过程中，该保证更为严格，优势倍数则由我们的测量结果给出。在 GSM8K 和 MATH 上的实验证实了曲率—方差关联，并测量了实际训练过程中决定这些界的各项量。在 1.5B 规模下，按提示归一化的表现优于未经归一化和全局归一化的基线；这种优势在训练中期出现，此时不同提示之间的方差变得不均一。在 7B 规模下，各种归一化方案在统计上已无法区分，而 IS-GRPO 仍保持小幅领先，这与理论预测一致：只有存在异质性时，归一化才能带来收益。