U-Space：揭示语言模型中的不确定性何时产生及其成因

arXiv:2610.09087v1 公告类型：交叉收录 摘要：大语言模型正为事关越来越重大的决策提供依据。随着其错误造成的后果愈发严重，一个核心问题变得越来越不容忽视：我们究竟能在多大程度上信任某个回答？然而，识别何时应暂缓作答并交由他人判断仍然很困难，因为语言模型可能以流畅的解释和权威的语气呈现错误结论。不确定性量化旨在通过估计单次预测的可靠性来弥合这一脱节。然而，许多现有方法需要重复生成或单独训练的组件，而且其标量估计无法揭示不确定性在何处产生，或在推理过程中如何演变。近期研究还表明，生成长度可能与不确定性估计和正确性高度相关，这引出了一个问题：估计器的预测能力究竟有多少来自不确定性特有的信息，而非仅仅来自输出长度？机制可解释性通过将人类可理解的概念与模型的中间状态关联起来，为克服这些局限提供了一条路径。基于这一能力，我们提出了 U-Space，这是一个低维子空间，使模型不断变化的不确定性变得可测量、可解释。我们识别代表怀疑与确定的语义锚点，将其反嵌入方向映射回残差空间，并将这些方向之间的差异组合成一组正交基。U-Lens 将每个词元的状态投影到这些基向量上，生成可解释的词元级不确定性图谱，既可直接查看，也可聚合为标量不确定性分数。我们的方法无需正确性标签、重复生成或训练。在多个推理基准测试中，无论采用标准评估还是控制长度的评估，其置信度分数均优于成熟的基线方法，且比有监督估计器具有更可靠的迁移能力。代码：https://github.com/s2labres/U-Space。