打破镜像：基于激活的 LLM 评估器自我偏好缓解方法
Breaking the Mirror: Activation-Based Mitigation of Self-Preference in LLM Evaluators
精选理由
提出无需重训的激活引导方法，可大幅减少大模型评审偏袒自身输出，为提升自动评估公平性提供新思路。
AI 摘要
arXiv:2509.03647v3 公告类型：replace-cross 摘要：大型语言模型（LLM）日益被用作自动化评估器，但它们存在“自我偏好偏差”：倾向于偏爱自身输出，而非其他模型的输出。这种偏差损害了评估流程的公平性和可靠性，尤其是在偏好调优和模型路由等任务中。我们研究了轻量级引导向量能否在无需重新训练的情况下，于推理阶段缓解这一问题。我们引入了一个经过精心整理的数据集，将自我偏好区分为合理的自我偏好示例和不合理的自我偏好示例，并采用两种方法构建引导向量：对比激活加法（CAA）和基于优化的方法。结果表明，引导向量能够将不合理的自我偏好偏差最多减少 97%，显著优于提示方法和直接偏好优化基线。然而，引导向量在合理的自我偏好和无偏一致判断上的表现并不稳定，这意味着自我偏好涉及多个方向或非线性方向。这凸显了引导向量作为 LLM 裁判防护手段的潜力与局限，并促使我们探索更稳健的干预方法。