对比中的真相：来自语言模型似然的校准事实证据

大型语言模型（LLMs）编码了大量事实知识。然而，可靠地估计事实性陈述的置信度仍然充满挑战。我们从多语言事实性陈述的判别性和校准性这两个互补视角出发，研究基于似然的事实置信度。具体而言，我们将对比生成似然实例化为对比事实证据（Contrastive Factual Evidence，CFE），比较同一陈述在相互竞争的事实性条件和非事实性条件下的似然，并推导出其概率对应形式——对比事实后验（Contrastive Factual Posterior，CFP）。我们通过分析表明，CFP 的校准取决于两个替代条件分布之间的差异误差，这使得它们之间共享的误差能够相互抵消，从而得到更严格的校准界。实证结果表明，CFP 在保持与最强竞争方法相当的事实判别能力的同时，显著改善了校准效果。然而，在资源较少的语言中，各方法的判别能力普遍较弱，这同时削弱了所测量校准的实用性。为此，我们对一种似然几何进行了解释，在该几何中诱导出一个承载证据的方向，以及一个与证据无关的正交方向。在我们的研究中，我们仅沿事实证据方向，将目标语言陈述与更强的英语证据进行选择性对齐，在无需目标语言标签的情况下提升了判别能力和开放式事实生成能力。