密度感知奖励缩放：一种用于按奖励比例采样的强化学习框架
Density-Aware Reward Scaling: A Reinforcement Learning Framework for Reward-Proportional Sampling
精选理由
通过密度感知奖励缩放，提升强化学习对多样高回报结果的覆盖与采样能力。
AI 摘要
最大化期望回报的强化学习目标可能会将概率质量集中到少量高奖励结果上，当期望获得多个不同解时，这会限制多样性。我们提出密度感知奖励缩放（DARS），这是一种简单的奖励处理机制，能够在连续结果空间中促进按奖励比例采样，同时保留标准的策略梯度训练。DARS 估计每个在策略采样组内结果的局部密度，并根据该密度对奖励进行反向缩放。该方法无需学习得到的密度模型、辅助目标、评论家，也无需修改底层策略梯度目标。在受控的多模态导航任务中，DARS-GRPO 避免了 GRPO 所表现出的单模态坍缩，并较为准确地恢复了目标模态分配。应用于文本到图像提示词适配时，DARS-GRPO 在不同数据集、Policy LMs 和奖励设置下均持续提升图像与提示词的多样性，同时保持良好的语义对齐。这些结果表明，密度感知奖励缩放为在现有强化学习流程中提升多样化高奖励结果的覆盖范围提供了一种轻量级方法。