DIAL：通过自适应人类偏好校准实现位置去偏的 LLM 评判器

将大型语言模型（LLMs）用作评判器可以实现可扩展的评估，但其判断可能对回答顺序敏感，而且即使在消除此类位置效应之后，仍可能系统性地偏离人类偏好。我们提出 DIAL，这是一个统一框架，将大量 LLM 比较与有限的人类比较相结合，以分离特定于评判器的位置效应，学习位置去偏后的 LLM 偏好中的共享结构，并将该结构自适应地校准到人类偏好目标。在理论上，我们研究 DIAL 的三个方面：（i）潜在 LLM 偏好、位置效应和人类校准的识别；（ii）在 LLM 锚定与有限人类证据之间取得平衡的自适应估计；以及（iii）针对校准后人类偏好的固定权重不确定性量化。在实证上，我们在受控模拟和三个人类偏好基准上分别评估位置去偏和人类对齐，结果表明 DIAL 在回答顺序不均衡的情况下仍保持稳健，能够用有限标签实现与人类高度一致的排名，并在 LLM 信息不完善时向人类证据自适应调整。我们的真实数据研究从 21 个 LLM 评判器在两种展示顺序下收集了超过 410K 条判断，为未来研究 LLM 评判器偏差、异质性和人类对齐提供了资源。