Range-GRPO：通过奖励区间之间的成对关系进行策略优化
Range-GRPO: Policy Optimization via Pairwise Relations among Reward Intervals
精选理由
通过区间奖励建模不确定性，提升无标准答案场景下大模型后训练的稳健性与泛化。
AI 摘要
arXiv:2610.01548v1 公告类型：新 摘要：随着大型语言模型（LLM）的应用不断扩大，后训练对于使其适应下游任务变得日益重要。然而，获取可靠的监督信号仍然成本高昂，尤其是在缺乏参考答案或可执行验证器的领域。LLM-as-a-Judge 为无标签响应提供了可扩展的伪奖励，但单一的点值评分无法明确表示奖励的不确定性。因此，我们提出使用经保序校准的奖励区间来表示伪奖励。我们提出 Range-GRPO，一种将有限的标注数据与无标签提示相结合的半监督后训练框架。在组相对策略优化（GRPO）中，学习信号取决于每个 rollout 组内的相对奖励比较。所提出的目标函数对奖励区间进行成对比较，而不是将其简化为点值奖励，从而使区间不确定性能够影响这些信号的幅度和方向。我们的理论分析刻画了这一差异，并表明当所有奖励区间都退化为点时，所提出的目标函数可以恢复 Dr.GRPO 的优势。实验结果表明，在所评估的半监督方法中，Range-GRPO 在分布内和分布外的平均性能均达到最高，同时所需训练资源更少。