CLM 作为评审者：在公开评审基准上评估一种开放式对比决策模型

arXiv:2610.07177v1 公告类型：新 摘要：在高难度公开基准上，一种开放式对比决策模型作为评审者的表现接近随机水平：Contrastive-LM/CLM-v0.1-8B 的得分介于 0.351（四选一，随机水平为 0.250）和 0.593（成对比较，随机水平为 0.500）之间；在 RM-Bench 和 JudgeBench 上，其表现与抛硬币无统计显著差异；在 HaluEval 的每个项目中，它都给出同一个固定标签，其得分为 0.581，与始终选择第一项这一简单基线相同。参数量相同的评审者在所有基准上得分都高得多：奖励模型的得分为 0.764 至 0.976，生成式评审者的得分为 0.611 至 0.778；经过 Benjamini-Hochberg 校正后，与 CLM 的每一项差距均具有显著性。两项性质确实有效。原始置信度最高过度自信 +0.401，但在留出的校准项目上进行一次合并温度拟合后，可将期望校准误差修复至最高 0.062；修复后的置信度在六个基准中的三个基准上，能够以高于随机水平的准确率将模型自身的错误排在前面。决策顺序翻转率为 0.0002，而生成式评审者为 0.2188；长度偏好偏移为 -0.023，而生成式评审者为 -0.217。然而，在预注册的 0.97 保留率要求下，置信度门控级联会将 0.923 至 1.000 的项目升级给强评审者：对于一个表现接近随机水平的评审者而言，经过校准的置信度几乎没有任何内容值得保留。实验设计如下：采用五个具有真实标签的公开偏好基准和一个幻觉基准，在看到任何测试项目之前冻结的预注册方案下进行评分，并与生成式评审者、奖励模型和简单基线进行比较，同时公开逐项目预测结果。