使用干预迁移评估评分标准生成

arXiv:2610.10809v1 公告类型：新 摘要：针对实例的评分标准在 AI 基准测试中十分常见，因为可靠的评估需要特定的专家知识。这种方法难以扩展，因此研究人员开始探索使用大语言模型（LLM）生成评分标准。然而，即使有专家评分标准作为参考，如何大规模有效地评估生成评分标准的质量仍不明确。本文提出了一种用于评估评分标准生成的方法，称为干预迁移（Interventional Transfer，IT）。该方法基于这样一个理念：如果对某个回答进行扰动，使其通过或未通过其中一个评分标准时，两个评分标准的判定结果会同步变化，那么这两个评分标准就是相似的。不同于现有的评分标准生成评估方法，我们认为，不同形式的干预迁移可用于评估生成评分标准在不同任务中的效用。例如，我们在 HealthBench 上开展了一项案例研究，展示了由 Qwen3.8-27B、Deepseek-V4-Flash 和 Opus-5 生成的评分标准之间存在不对称性，这些评分标准用于评估 GPT-5.6-Terra 生成的回答。根据生成的评分标准或专家评分标准会降低回答质量的扰动，会在相应的专家评分标准或生成评分标准上迁移为更低的分数；但在一个评分标准上有所改进的扰动，却无法可靠地迁移为另一个评分标准上的更高分数。我们认为，这一发现对于使用 LLM 生成的评分标准进行性能监控和爬山优化具有重要意义。我们将该方法与现有的评分标准评估方法进行了对比，后者无法揭示出我们观察到的这种不对称性。