JEV-as-a-Judge：有信心时接受，不确定时升级

LLM-as-a-judge 能够实现跨多种任务的评估，但在大规模应用中，推理成本和置信度可靠性变得至关重要。我们研究了仅作决策的评判器能否提供经济高效的第一轮筛选，并识别何时需要更强的评估。通过将 jev-as-a-judge 与十六种生成式评判器和奖励模型评判器进行比较，并采用盲法人工裁决，我们发现，在常规偏好评估和基于证据的事实性评估上，JEV 的表现与最先进的 LLM 评判器（也是我们最强的比较对象）相差不到三个百分点，而费用仅为后者的 0.36%。当判断需要核查推导过程，或需要抵抗措辞精巧但错误的答案时，差距会进一步扩大。在多个基准测试中，JEV 与该比较对象之间的差距主要集中在低置信度决策上。一个先接受高置信度判定、再将不确定判定升级处理的固定级联流程，以更低的成本保留了该比较对象 99% 的准确率。