用不用 Jev：System-1 决策模型何时能取代 LLM 评判模型？

TypeSafe 的 Jev 等决策模型只需一次前向传播，无须生成文本，即可用经过校准的概率回答关于文本的特定类型问题（是非题、选择题或有序评分题），因此有望成为执行 LLM 评判任务的低成本选择。我们按照预先声明的方案选取了 14 个 System-1 决策模型，在 11 个成熟的评判基准上，将其与四个生成式评判模型（Claude Haiku 5.5、启用和禁用推理的 GPT-5.6，以及启用思考的 Claude Opus 5.5）进行了比较。在全部五个成对比较和四选一基准上，14 个模型中有五个与禁用推理的 GPT-5.6 在统计上无显著差异；其中表现最强的两个模型 DReX-Max 和 d1-ultra 在 JudgeBench、LLMBar 和 RewardBench 2 上的准确率显著高于 Haiku。在以每条提示仅生成一次的参考答案为条件时，11 个模型在 JudgeBench 上的准确率达到 90.3%–93.4%，与 Opus 5.5 和启用推理的 GPT-5.6 在统计上无显著差异；在 PPE 十六选一任务上，所有由参考答案引导的 System-1 评判模型都能达到启用推理的 GPT-5.6 的水平，而每条提示的成本约为其十六分之一。多个 System-1 评判模型的校准程度优于所有生成式评判模型，且与人类对有用性的评分具有更强的相关性。对注入被评判回复中的指令的鲁棒性取决于具体模型，而非 System-1 设计本身：在回复末尾附加一条面向评估者的说明，会使五个模型中 0%–5% 的正确判定发生反转，而其余九个模型的反转比例为 17%–49%。两个不包含任何评判任务的通用 System-1 排行榜能够预测评判准确率（Pearson r = 0.95–0.96）；将校准良好的 System-1 模型用作第一阶段评判模型，仅需将 17% 的样本转交更强模型处理，即可在 LLMBar 上达到 Opus 的水平；同等规模的对照实验表明，一个 4B 决策模型在正确性上的不足源于推理能力差距，而非模型规模差距。