评分需要的是评分规程，而不是智能

当小型语言模型依据明确的评分规程进行评分时，它们能够像成本高得多的模型一样可靠地评定开放式考试答案。我们将这一主张作为 any-to-bench 背后的设计原则进行检验：一个前沿模型在摄取阶段只读取一次源文档，以提取每个问题及其评分规程；随后由低成本模型完成所有重复性的评分工作。我们评估了来自两个模型系列、处于三种推理努力水平的六种高成本效益模型配置。每种配置回答 24 道开放式考试题，并且还对每份答卷评分三次，共得到 3,456 个逐题评分。分数压倒性地取决于被评分的答案：答案身份解释了 95.6% 的分数方差，而评审者身份仅解释 0.2%。提高答题者的推理努力水平可使所得分数最多变化满分的 0.143，而提高评审者的推理努力水平使给定分数最多只变化 0.006。我们加入六个前沿级评审者作为检验，它们复现了这些分数，并且作为一个评审小组并不更可靠。随后，两项消融实验在相同问题和答案上分解评分规程。移除其标准和等级、但保留官方答案，不会带来可测量的变化。若同时移除官方答案，可靠性会崩塌（ICC 从 0.888 降至 0.628）、分数会膨胀，并且评审者的推理努力水平会再次产生影响。评分规程正是将评分与评审者智能解耦的因素，而在评分规程中，官方答案几乎承担了全部作用。我们没有发现基于评分规程锚定的评分存在长度偏好或同系列偏好的证据。