“非常可能”意味着“不确定”？LLMs在语言不确定性量化方面如何偏离人类
"very likely" Means "uncertain"? How LLMs Diverge from Humans in Linguistic Uncertainty Quantification
精选理由
揭示大模型与人类不确定表达的语义差异，提供更可靠的置信度量化方法。
AI 摘要
arXiv:2610.00083v1 发布类型：新 摘要：人类通过语言标记（例如“可能”“很可能”）来表达不确定性，然而大多数LLM不确定性量化（UQ）依赖于对基于似然或一致性的信号进行评估。从认知角度来看，准确表达语言不确定性反映了元认知监控，即表征知识边界（“知道自己不知道”），从而支持调节和信息寻求。在本文中，我们研究LLMs在语言不确定性量化方面如何偏离人类，以及语言标记能否可靠地量化LLM的不确定性。我们整理了心理学和决策科学文献中的人类不确定性标记语料库，并以此对LLMs进行基准测试。我们观察到，LLMs对语言不确定性的编码所对应的数值水平与人类存在显著差异。随后，我们提出METHODNAME，这是一种新颖的基于优化的算法，能够直接从LLM输出中学习不确定性标记的最优不确定性分布。通过拟合标记—不确定性映射，以最佳解释经验正确性，METHODNAME揭示了每个语言标记应传达多少概率质量，而不是通过重复采样来估计不确定性。METHODNAME支持在人类与LLMs之间进行直接的标记层面置信度语义比较，区分其中的不匹配，并揭示语言表达中系统性的置信度差异。