Circe：通过组件交互一致性实现无需训练的 LLM 自我评估

随着大语言模型（LLM）日益广泛地部署于现实应用中，评估其回答的正确性对于可靠使用至关重要。然而，这种评估颇具挑战，因为在实际场景中通常难以获得参考答案。现有的无参考评估方法主要依赖输出信号，这些信号可能会给错误回答赋予高分，因此不一定能反映正确性。这促使我们探索模型的内部计算，以获取互补的正确性信号。近期研究利用了内部状态，但主要分析跨层的隐藏状态轨迹；这些轨迹仅记录注意力与前馈网络（FFN）的合并更新，忽略了这些组件之间如何交互。因此，我们提出 Circe，这是一种无需训练的自我评估方法，结合内部和外部信号评估回答，无需参考答案或重复采样。对于内部信号，我们首先引入组件交互一致性（CIC），用于衡量较早层中的注意力更新与较晚层中由注意力引起的 FFN 输出变化之间的方向对齐程度。我们进一步引入表征几何（RG），以刻画逐层隐藏状态轨迹上的归一化位移和角度变化。对于外部信号，我们将生成词元的平均负对数似然转换为有界的似然置信度（LC）分数。最后，我们将 CIC、RG 和 LC 融合为统一的正确性分数。在五个 LLM 和涵盖四个领域的六个基准上的实验表明，我们的方法比现有基线更有效地区分正确与错误回答，并能泛化到多语言、多模态和开放世界场景。