让稀疏奖励发挥作用：面向多奖励强化学习的密度感知奖励聚合

arXiv:2610.00574v1 发布类型：新 摘要：多奖励强化学习训练大型语言模型，使其同时满足多个行为目标。GDPO 中采用的按奖励归一化方法保留了各奖励在 rollout 组内的相对信息，但不同目标的学习进度仍可能不均衡。我们通过优势能量研究这一现象，即一个批次中某项奖励的优势平方和。在理想化的 GDPO 归一化条件下，我们证明该能量与活跃组密度成正比：即在所有 rollout 组中，该奖励提供非零相对优势的组所占比例。这揭示了批次层面的残余信号不平衡，并为校准奖励贡献提供了依据。基于这一关系，我们提出 Density-Aware Reward Aggregation（DARA）。我们推导出一种逆平方根密度校正方法，为较少频繁激活的奖励所产生的信号赋予更高权重。DARA 根据每个 rollout 批次计算权重，能够适应训练过程中奖励活跃度的变化，同时无需修改底层的策略优化目标。在工具调用和数学推理任务上的实验表明，与 GDPO 相比，DARA 能更快学会目标行为：在工具调用任务中，达到较高格式合规性的训练步数最多减少 26%；在数学推理任务中，达到接近饱和的长度合规性的训练步数最多减少 65%；同时最终性能仍具有竞争力。我们的代码可在 https://github.com/zhaihaotian/DARA 获取。