理解强化学习中的增益

arXiv:2610.02846v1 公告类型：新 摘要：当奖励稀疏时，带可验证奖励的强化学习（RLVR）通常会使用提示或中间指导来生成更多成功的轨迹。这种增益会使策略梯度更新产生偏差，除非通过重要性权重进行校正；但现有方法要么省略校正，要么截断重要性权重，以避免校正带来的高方差。因此，在 RLVR 中校正增益轨迹究竟会带来什么收益或损失，仍不清楚。我们从数学上表明，省略或截断校正会隐式地重新加权所定义的奖励，并将由此产生的梯度误差分解为尺度、旋转和方差三个部分，以解释它们对学习的不同影响。为了使校正具有实用性，我们提出了一种新颖的序贯蒙特卡洛（SMC）权重校正机制。在稳定性和粒子排序假设下，该机制能够将标准校正方差随样本长度呈指数级累积的现象，缓和为加性累积。随后，我们将对增益的分析应用于解读在 OpenMathReasoning 的一个稀疏区间上对 Qwen3-1.7B 进行微调的结果，揭示增益（无论是否经过校正）如何通过一种具体机制帮助模型避免在稀疏领域中发生崩溃。我们的主要贡献在于，从一般意义上理解增益和校正如何影响训练，而不是声称任一种操作模式都优于无增益强化学习。