三思而后行：利用内部归因信号进行事实性解码

幻觉仍然是大型语言模型（LLMs）面临的关键挑战之一：早期的事实错误会在自回归生成过程中不断累积，形成滚雪球效应，而事后纠正和权重层面的干预都无法有效防止这一问题。我们提出 DescaPE（DEcoding Signal Control Against Path Error-snowballing），一种利用模型内部信号在推理时抑制易产生幻觉的生成轨迹的解码框架。通过滑动窗口 MLP 消融实验，我们在 LLMs 中确定了一个对事实性高度敏感的层区间。由此得到的信号会针对事实性词元选择性增强，并在易产生幻觉的步骤出现异常峰值。我们训练了一个轻量级探针，通过单次前向传播近似该信号，并将其整合到候选项评分中，以惩罚高风险的后续生成，同时奖励具有事实依据的生成结果。在三个 LLMs 上开展的五项事实性基准测试表明，DescaPE 在多种设置下均能较推理时解码基线取得事实性提升，同时在效率评估中仅带来 1.10x 的延迟开销。我们的代码已发布于 https://github.com/hayeonggg/DESCAPE。