排序正确，尺度失准：面向职业 AI 测量的 LLM 评判器审计

arXiv:2610.02492v1 公告类型：交叉收录 摘要：LLM 评判器越来越多地被用于评估 AI 输出是否满足工作场景要求，但回答排序的一致性并不意味着接受率或职业层面汇总指标的一致性。我们推出了 O*NET-BENCH，这是一套基于现有调查中 45,796 条工作者评分构建的审计套件，并使用 4,501 条测试评分，评估了涵盖六个模型家族的 33 种既有评判器配置。其中 25 种配置在考虑平局的成对比较准确率上达到至少 0.60，不过，一个在训练集上拟合、仅使用回答文本的 TF-IDF 基线几乎达到了最强评判器的水平。尽管排序具有这种一致性，评判器估计的回答可接受比例却介于 3.0% 至 97.9% 之间，而职业匹配的工作者给出的比例为 61.1%。在一个微调模型谱系中，从逐项评分改为将少样本示例与列表式评判捆绑使用的协议，虽然改善了回答排序，却降低了与工作者在任务和职业层面平均评分的一致性；在任务和工作者均不重叠的验证集划分上，按照预先规定的标准，这种反转现象得到了复现。交叉验证校准基本消除了均值偏差，但校准后的分数最多只能解释个体工作者评分方差的 8.5%。在所研究的标注预算下，预测辅助估计最多只能带来小幅精度提升。这些结果表明，仅有排序一致性不足以支持职业层面的测量。应根据评判器分数将被用于估计的接受率和汇总指标，对评判器进行验证。