评判评判者：作为奖励的评分标准中的置信度与分歧

arXiv:2610.21179v1 公告类型：新 摘要：作为奖励的评分标准（RaR）通过使用 LLM 评判者依据结构化评分标准对回答进行打分，将强化学习扩展到不可验证领域。以往工作主要集中于改进评分标准或增强单个评判者，而相较之下，很少关注在 RaR 训练期间如何使用不同的单个或多个评判者。我们首先表明，在五个前沿和开放权重评判者中，仅评判者身份的不同，就会导致在 RaR-Medicine 和 RaR-Science 上训练 Qwen3-4B-Base 时产生显著的分数差异。在此基础上，我们提出 RaRE（Rubrics as Rewards with Ensembles），一种用于 RaR 的新型评判者集成策略，包含两种机制：一种是软 Likert 奖励，利用评判者的 logprobs 对置信度更高的评判者赋予更高权重；另一种是分歧剔除掩码，将高分歧的 rollout 排除在 GRPO 更新之外。我们发现，这一设计至关重要：朴素地对评判者分数取平均无法超过表现最佳的单个评判者，而 RaRE 在 HealthBench 和 GPQA Diamond 上均优于所有单评判者 RaR 变体；按主题分析还表明，它继承了各组成评判者的互补优势。我们的研究结果表明，评判者集成是改进 RaR 的一个颇具潜力的方向。