BiG-SURE - 用于 LLMs 语义不确定性与可靠性估计的二分图

在安全关键场景中部署大型语言模型（LLMs）和视觉语言模型（VLMs）时，可靠的不确定性估计是一个至关重要的要求，尤其是在模型参数不可访问（黑盒）的情况下。我们提出 BiG-SURE，这是一种基于跨温度语义一致性的 不确定性估计器。该方法将低温度响应作为稳定的语义锚点，将高温度响应作为在保持语义不变的输入变换下的探针。随后，它使用基于 NLI 的蕴含得分构建锚点-探针二分图（BiG），并通过该矩阵归一化后的平方谱能量来定义置信度，不确定性则由其补集给出。这个基于二分图的语义不确定性与可靠性估计（SURE）得分，用于衡量高温度探针是否仍与模型在低温度下形成的稳定信念保持语义一致。我们在多个模型家族上，对文本 QA、多语言 QA 和多模态 QA 任务评估了 BiG-SURE。在这些实验中，BiG-SURE 相比以往的黑盒不确定性估计器提升了平均拒答 AUROC，同时保持了简单、无监督，并且可应用于黑盒模型设置。