RLVR$^{2}$：基于可验证评分准则排名的强化学习

arXiv:2609.23457v2 公告类型：替换 摘要：基于可验证奖励的强化学习（RLVR）正从数学和代码等具有明确定义的正确性信号的任务，拓展至由多维评分准则规定的多方面质量要求。由于策略优化对每次 rollout 仅使用一个标量，基于评分准则的流程必须将多个标准的分数映射为一个标量奖励。这种聚合通常被视为分数缩放，但它实际上隐式决定了训练过程中各质量维度之间的权衡方式。目前普遍采用的做法是对每项标准进行归一化，再取线性组合，这假定不同标准的基数分数差异具有可比性，且某项标准上的提升可以弥补另一项标准上的不足；当各标准在语义上存在异质性时，这两个假设都不可靠。我们提出基于可验证评分准则排名的强化学习（RLVR$^2$），这是一种面向基于评分准则的 RLVR 的可验证排名范式。对于每项标准，RLVR$^2$ 将评分准则分数转换为该标准特定的组内序数结果，从所得的比较矩阵中恢复潜在效用，并将这些效用合并为一个训练信号。通过仅保留组内排序并舍弃原始分数的大小，RLVR$^2$ 避免了对异质评分准则量表进行校准。它还支持保持目标不变的属性调整：与观测排名相关、但并非训练目标的辅助属性可以纳入估计，而无须扩展评分准则或直接对这些属性给予奖励。在三种模型规模和 16 项基准测试中，RLVR$^2$ 均持续优于具有代表性的基于评分准则的基线方法，并在每种规模下的大多数基准测试中取得最佳综合表现。分析表明，它在保持质量目标不变的同时，能够控制与推理效率和回复格式相关的系统性影响。