Rubric Curriculum RL：利用不可验证领域中的生成—验证差距

arXiv:2611.06244v1 公告类型：新论文 摘要：基于可验证奖励的强化学习（RLVR）在数学和代码生成方面取得了显著进展。然而，将这些进展扩展到开放式领域仍然面临挑战：无法依据真实答案进行验证，人工标注成本高昂，而学习得到的奖励模型容易受到奖励投机的影响。生成—验证差距，即评判优质输出比生成优质输出更容易，为改进提供了一条潜在路径。然而，基于评分准则的评判器往往不够精确且固定不变，因此策略可能对其过拟合或进行奖励投机。我们提出 Rubric Curriculum RL（RcRL），无需新增数据、人工标注或更强的教师模型，即可利用这一差距。我们将生成轨迹之间的成对偏好与针对评分准则的课程学习相结合，从而获得比绝对评分更具区分力的信号，以及一个非平稳的优化目标。基线方法在几百步内便进入平台期，而 RcRL 能够保持输出熵，并在超过 1000 步后持续改进。在创意写作任务中，RcRL 在人工评估中相较于基础模型取得了 70.5% 的胜率，并在多个基准和评判器上均有提升。在 HealthBench 上，RcRL 相较于基础模型提升了 14.6%（完整集）和 25.4%（共识子集），优于所有训练基线，包括采用实例专属评分准则的基线。