反事实成对增强提升小型逐点评判 LLM 的性能

智能体系统越来越多地使用逐点评判器，根据某项准则为响应评分，以决定各个步骤是否放行。小型语言模型能够高效部署和专门化，因此很适合承担这一角色。此类评判器必须确定准则的决策边界，但在微调中，逐点标签不足以充分确定该边界：不同查询的带标签响应在多个维度上同时存在差异，因此无法揭示哪些特征决定了标签。我们提出 CPA（反事实成对增强），在训练中明确呈现决定标签的差异。对于每个逐点样本，CPA 都会针对同一查询合成并审核一个旨在获得相反标签的反事实响应。随后，它将通过审核的响应对构造成成对任务，要求判断两个响应中哪一个满足准则。评判器在逐点和成对数据集上进行联合微调，部署时则仅采用逐点模式。二阶分析揭示了这种方法在何种情况下应优于当前主流策略，即合并分别训练的逐点专家和成对专家：模型合并会沿所有参数方向以相同的比例向成对专家移动，而联合训练可以在成对损失平坦的方向上保持逐点最优解，并在成对损失陡峭的方向上吸收其曲率信息。CPA 所构造的同源、反事实改动最小的成对视图，正是为了形成这种情形。在针对六项二元准则分别训练的 Qwen3-8B LoRA 适配器上，与仅采用逐点训练相比，CPA 将各准则平均的逐点宏平均 F1 提高了 2.5 个百分点，并且在所有测试的合并权重下，均在全部六项准则上优于模型合并。它还比我们评估的最强零样本前沿评判模型 Gemini 3.6 Flash 高出 11.8 个百分点。