PHRBench：大语言模型幻觉后推理的行为评估

幻觉信息可能在多阶段大语言模型系统中传播，并成为后续推理上下文的一部分。现有关于幻觉后推理（PHR）的研究主要描述最终结果的变化和整体推理动态，对于模型如何在响应层面处理幻觉前提，仍缺乏充分理解。在本研究中，我们提出 PHRBench，这是一个从行为结构角度评估 PHR 的受控基准，涵盖四个领域和 18 个大语言模型。PHRBench 通过幻觉顺从、幻觉规避和启发式纠正来刻画每条推理轨迹，且不依赖于最终答案的正确性；同时，将成功纠正错误并最终得出正确答案的轨迹定义为具有洞察力的轨迹。在 4820 个受控实例中，我们发现，成功恢复仍相对罕见，并且与推理轨迹中更频繁的信念更新相关。我们还发现，含有幻觉信息的提示的属性包含大量可用于预测成功恢复的信号，一个轻量级预测器的 AUROC 达到 0.847。这些发现提供了理解幻觉后推理的行为视角，刻画了大语言模型如何处理错误上下文，以及何时更有可能成功恢复。