当大型语言模型中的语言置信度与内部置信度不一致时

用户经常要求大型语言模型（LLMs）报告它们有多自信，但这种语言上的自信是否反映模型的内部自信尚不清楚。我们在 8 个分类任务、2 个生成任务以及来自三个家族的 30 个模型上研究这一问题。对于分类任务，我们从三个维度比较语言置信度与基于 logits 的置信度：关联性、幅度一致性和校准性。对于生成任务，我们检验语言置信度是否跟踪基于语义熵的“不确定性”。这些维度经常出现分歧。实例层面的关联性平均来说较弱，但在更容易的样本以及更强的基础模型上会有所改善。经过指令微调的模型往往报告更高的置信度，有时也表现出更高的关联性，但它们同时具有更大的置信度差距和更差的校准性。提示词设计主要改变的是所报告置信度的分布。态度提示会抬高置信度，但不会改善对齐，而分数示例在避免置信度值塌缩时可以保留排序信号。回归分析表明，置信度分数的分布特性解释了所观察到的大部分对齐模式，而在控制其他因素后，模型元数据的作用较小。这些结果支持将语言置信度视为一种有损通道。更分散的口头置信度分布可以携带有用的排序信息，但并不会使这些分数变得可校准。因此，在将语言置信度用于下游可靠性流程之前，应该用多维诊断方法对其进行评估。