就在嘴边：为什么 LLMs 会对能够解码出的答案产生幻觉

arXiv:2603.13911v2 公告类型：替换交叉版本 摘要：即使正确答案可以从语言模型的中间状态中解码出来，模型仍可能给出错误答案。为研究可解码性与选择之间的这一差距，我们在首个答案词元处区分“读取”和“写入”。读取关注的是：在相同关系的诱饵对照下，能否从中间残差状态中解码出标准词元。写入关注的是：最终读出是否将该词元在内容词元中排在第一位。在三种不同的读取器下，并结合随机标签对照，我们发现，相当一部分失败案例仍然是可读取的，但模型选择了另一个内容词元。我们通过最终读出中的选择间隔来解释这一现象，即答案 logit 与其最强替代项 logit 之差；该间隔等于答案支持度减去替代项支持度，也可以进一步分解为与词元频率相关的、按上下文取平均的基线项，以及一个针对具体样本的项。对于我们研究的大多数模型，将答案支持度设定为成功生成中常见的水平，就足以让多数失败案例恢复首个词元的选择；在剩余的大多数失败案例中，原先的替代项仍然领先，而这一结果可直接由读出几何得出。仅移除频率方向会改变选择结果，但很少能恢复答案。同一事实的提示变体中，那些成功的变体所提供的支持度，会通过残差流以及后期 MLP 输出迁移到失败的变体；通过后期注意力产生的影响则不太稳定。首个词元的恢复并不能让大多数完整答案变正确，这限制了这些编辑所能实现的恢复程度，也区分了三个容易混淆的概念：可解码性、可恢复性和生成。