鲁棒保形共识：基于保形预测的多智能体 LLM-as-a-Judge 区间评估

LLM-as-a-Judge 已成为评估自然语言生成的一种颇具前景的范式。然而，与此类评估相关的不确定性仍在很大程度上缺乏研究，这限制了其在现实应用中的可靠性。尽管保形预测为不确定性量化提供了一个有原则的框架，现有方法通常将其应用于单个 LLM 评审器，忽略了使用不同 LLM 评估器所引入的变异性。在本文中，我们提出了一种面向多智能体 LLM-as-a-Judge 评估的鲁棒不确定性估计框架。我们的方法针对来自多个 LLM 的基于 LLM 的得分构建保形预测区间。通过考虑不同 LLM 评审器给出的区间，我们获得了更加稳定可靠的不确定性估计。大量实验表明，我们的方法能够生成具有覆盖率保证的有效预测区间，并且在多个评审器之间进行基于区间的聚合能够带来更加稳定的评估结果。