奖励预算分配减少大语言模型推理强化学习中的过早收敛

arXiv:2611.05942v1 公告类型：新论文 摘要：用于大语言模型推理的强化学习往往会随着策略分布变得愈发尖锐而提前进入性能平台期。近期研究将策略熵同时作为诊断和控制这一行为的信号。然而，在我们的实验中，仅提高熵并不能可靠地改变最终的平台水平。我们通过强化学习的隐式目标策略对其进行分析，并推导出尖锐度因子 $\kappa$ 及其有效形式 $\kappa_{\mathrm{eff}}$，用于描述奖励或优势差距转化为概率比差距的强度。基于这一视角，我们提出了\emph{奖励预算分配}，这是一种即插即用的优势构造方法，为每个提示分配固定的总奖励预算。对于二元奖励和独立的同策略采样轨迹，其未裁剪的得分函数估计量遵循一个精确的有限 $G$ 凹目标函数的梯度，该目标具有边际收益递减特性；与此同时，随着正确轨迹数量的增加，其优势差距会减小。对于一般奖励，在所述正则性条件下，平移后的对数均值解释在渐近意义上成立。这些结果为采用裁剪的实现提供了依据，但并未确立其精确的目标等价性。在 Qwen3-8B 和 Llama3.2-3B-Instruct 上，奖励预算分配持续提升了多种强化学习基线方法的表现，在 AMC23 上的提升最高达 +12.50，在 AIME24 和 AIME25 上最高达 +10.00。总体而言，我们的结果支持从更新动力学角度理解过早收敛，并表明无需显式维持熵也能获得显著提升。