动量何时有助于可验证奖励强化学习？

arXiv:2610.20413v1 公告类型：新论文 摘要：动量是加速凸优化的经典工具，也是现代大语言模型训练的标准组成部分。然而，近期的实证研究对一阶矩动量在可验证奖励强化学习（RLVR）中的作用提出了质疑。我们通过采用偏差校正指数移动平均（EMA）动量的 RLVR 多臂老虎机建模来研究这一问题，其中 EMA 系数 $\beta$ 控制历史梯度权重的衰减速度。当策略梯度被精确计算时，我们证明，在避免过冲的范围内增大 $\beta$ 会严格加速优化。当梯度通过采样得到的回答进行估计时，正的预期增益可能被采样波动掩盖。我们表明，随着学习率 $\eta$ 降低，固定 $\beta$ 时的预期增益比这些波动消失得更快；而增大 $\beta$、使 $\eta/(1-\beta)$ 保持在安全范围内，则能保留不趋于零的增益，并最终使其超过这些波动。多臂老虎机仿真实验从定量上验证了这些预测。在 Qwen3-4B-Base 上使用结合 EMA 的 SGD 和 AdamW 开展的 RLVR 实验，支持了我们在实际大语言模型后训练中选择更大系数的原则。在采用 AdamW 的 Qwen2.5-32B 上，仅增大 $\beta_1$ 就能使平均验证准确率比常规取值提高近 $2$ 个百分点，证明了该原则在更大模型规模下的有效性。