MatrixReward：用于开放式生成的评分标准矩阵奖励

arXiv:2610.00389v1 公告类型：新 摘要：开放式查询生成缺乏标准答案，因此需要一种有效的奖励机制。逐点评分标准无法充分反映同一提示下不同样本答案之间的相对质量；将多个评分标准的判断合并为单一分数，也可能掩盖这些答案之间的差异。我们提出 MatrixReward，通过比较每个评分标准下采样响应的所有成对组合，构建由 rollout-评分标准胜率矩阵得到的奖励。矩阵每一列的离散程度反映相应评分标准区分当前 rollout 的能力，而列与列之间的相关性则揭示评分标准的重复程度；结合这两类统计量，可以得到依赖数据的评分标准权重。我们将这些权重与评分标准的先验权重相结合。在进行列归一化和加权后，观测到的各评分标准最大值和最小值分别定义正理想特征和负理想特征。每个 rollout 到这两个理想特征的距离决定其相对接近度质量奖励。在四个开放式问答基准上使用 Qwen3-8B 进行评估时，MatrixReward 的平均得分达到 63.02，较最强基线高出约 2.0%。这些结果支持这样一种观点：由相对比较得到的矩阵可以更合理地为开放式生成强化学习构建奖励。