Intra-Rubric Reward Divergence：通过潜在维度恢复与平衡缓解量规投机
Intra-Rubric Reward Divergence: Mitigating Rubric Hacking through Latent Dimension Recovery and Balancing
精选理由
提出FRDA与RSDC缓解评分维度失衡和缺失，提升奖励模型训练稳定性及回答质量。
AI 摘要
量规投机限制了基于量规的强化学习的性能和训练稳健性。通过将量规分解为多个子维度，我们揭示了 Intra-Rubric Reward Divergence：随着量规总分提高，某些子维度的得分会系统性下降，这表明模型为了优化聚合目标而牺牲了特定的质量维度。从子维度视角来看，我们观察到两种现象：（1）维度失衡，导致策略偏向覆盖程度较高的维度；（2）维度缺失，导致奖励与真实质量之间存在系统性差距。为缓解这些问题，我们提出 Fair-Race Dimension Aggregation（FRDA）和 Residual Semantic Dimension Completion（RSDC）。前者让生成结果在各个维度内分别竞争，以缓解量规失衡；后者从整体偏好信号中挖掘其中隐式编码的评估维度，以完善量规覆盖。在聊天、科学和医疗领域的实验表明，FRDA 能够以更稳定的改进缓解量规投机，而 RSDC 的表现优于单一奖励训练和朴素的多奖励聚合，通常能够生成质量更高的回答。