一致却未对齐：无标签评分准则澄清提高了 LLM 评审间的共识，但未提高其与人类的一致性

LLM 评审越来越多地以评审团的形式部署，而成员间的分歧往往被视为评分准则不清晰的表现。我们测试了一种将此类分歧转化为评分准则修订的无标签流程。该流程将每套评分准则拆分为若干子标准，根据各子标准在开发集上引发的跨评审分歧进行排序，再由编辑模型仅重写争议最大的子标准。流程还包含一个额外阶段，用于将可通过文本检查的子标准转交给确定性检查器，但在我们的评估中，没有任何子标准被转交。人类标签从不用于选择或编辑条款，仅用于评估结果。我们在受版本控制的研究方案中预先指定了四项假设，并使用来自三家提供商的五个评审组成的评审团，在 SummEval、HealthBench 元评估和 USR Topical-Chat 上评估了六种评分准则条件，总计发起 129,770 次评审请求，不含重试。在 SummEval 上，相较于原始评分准则，该流程使评审间的 Krippendorff's $α$ 提高了 0.069（95% 置信区间为 0.046 至 0.092）；相较于对照条件则提高了 0.074，该对照条件对同等数量、随机抽取且未被选中的条款施加了相同的编辑操作。与专家评分的一致性未出现可检测到的变化（Kendall $τ$ 差值为 -0.007，95% 置信区间为 -0.037 至 0.021）。在 HealthBench 和 USR 上，评审间的一致性以及与人类的一致性均未达到预注册的效应标准。在一项预注册的次要比较中，三个数据集上的点估计均显示，编辑争议条款后与人类的一致性低于编辑对照条款后的水平，但所有区间均包含零。与编辑任意条款相比，根据分歧选择条款更能促进评审彼此达成一致；但在我们的实验设置中，这种共识的增加并未使评审更接近人类标注者。我们将发布代码、冻结版本的评分准则、条目标识符和评审分数。