概率并不够：探索并统计用于 LLMs 推理不确定性量化的分歧词元

随着大语言模型的思维链推理能力不断提升，对其推理置信度进行评估和校准对于量化答案的不确定性变得愈发重要。当前，大语言模型置信度估计方法通常基于所选关键词元的概率，但其背后的机制仍不明确。我们的初步研究发现，用粗粒度替代值替换所选词元的概率同样可以改善校准效果，这促使我们进一步探索模型置信度的有效信号。我们提出 Divergent Token Confidence（DTC），一种通过统计两个模型在解码过程中强烈不一致的词元数量来估计置信度的框架。DTC 使用沿同一推理轨迹评估得到的下一词元分布之间的 Jensen-Shannon 散度来识别这些分歧词元。我们发现，分歧词元的数量与答案准确率几乎呈负相关，因此可以作为一种简单而有效的不确定性量化信号。DTC 支持借助辅助模型进行白盒和黑盒评估，无需显式训练，也不会影响生成过程。在多个模型系列和六个数学基准上的实验表明，相较于基于概率的方法和言语化基线，DTC 能够实现更好的校准效果。在白盒评估中，仅依赖计数的估计器的平均期望校准误差为 13.0%，而标准的完整序列置信度方法为 32.7%–42.4%。在黑盒设置下，DTC 相较于原始言语化分数同样改善了校准效果。例如，在 DeepSeek-V3.2 上，平均期望校准误差从 32.1%–40.2% 降至 13.7%–16.3%。这些发现为改进大语言模型中的推理不确定性量化提供了新的思路。代码发布于 https://github.com/szu-tera/DTC.git。