通过行为反事实解释模型推理

arXiv:2610.30630v1 公告类型：新论文 摘要：随着模型能力不断提升，忠实理解模型形成思维链时发生的内部过程成为一个重要问题。然而，采样回答的差异使得我们难以分离干预的影响并系统地比较模型推理，因此这一问题仍然具有挑战性。我们提出了一种通过行为反事实来定位和分析给定干预如何影响模型推理的方法：在回答固定的情况下，对提示引入干预会如何改变下一个词元的概率分布？我们训练了一个用于编辑残差流的模块，使其最小化同一固定回答在源提示及其反事实目标提示下的输出分布之间的 KL 散度。我们发现，相比标准的激活重建目标，匹配输出分布能够更有效地恢复反事实行为；我们还验证了，对训练后模块的输出进行归因，能够有效识别对反事实恢复具有重要因果作用的位置。归因图以及模型编辑所产生下游影响的可视化，为提出关于原始模型计算过程的假设提供了一个界面，随后可通过激活修补来检验这些假设。在针对 Gemma-4-E4B-it 和 DeepSeek-R1-0528-Qwen3-8B 的案例研究中，我们探究了即使模型未在文字上明确承认受到某个建议的影响，该建议仍会如何影响其推理。我们的分析识别出了位于问题陈述和填充词元处的表征，这些表征介导了该建议影响中的相当一部分，并产生了改变论证框架甚至最终答案等下游影响。