每次消融都是一个剂量：配重与自我修复的表象

arXiv:2610.02173v1 公告类型：新增 摘要：对语言模型的一个组件进行消融，其他组件往往会表现出调整和补偿行为。这一现象被称为自我修复，已被反复观察到，但其机制仍不清楚。迄今为止最系统的研究得出结论：自我修复具有噪声，很可能不存在单一解释。我们认为它确实有一个解释：一种在任何消融发生之前就已存在的增益。对任何具有因果重要性的组件进行干预，都可以视为坐标轴 $\lambda$ 上的一个点，其中 $\lambda$ 表示反事实对比的带符号强度。因此，传统的消融方法就是该轴上未经校准的点。我们表明，细粒度单元 $r$ 的因果修复响应遵循一个仿射规律：$E_r(\lambda)=\mathrm{own}_r+\gamma_r\lambda$。斜率 $\gamma_r$ 是一个固定系数，无论是否进行消融，都会持续影响模型；其符号决定该单元是抵消还是强化被移除的信号。在一项跨四个不同模型系列（Gemma、Qwen、LLaMA 和 Mistral）的事实判定任务中，我们发现包括 MLP 神经元、OV 神经元和奇异方向在内的组件遵循这一仿射规律，共计占81个下游方向中的68个。此外，我们还可以根据固定权重预判 $\gamma_r$ 的大小。在 GPT-2 Small 的 IOI 电路中，干预能够触及的十个注意力头中有七个遵循该规律，而且这七个全都是配重。从这一视角看，表面上像是自我修复的现象，其实是当对比信号在核心处显现时，配重执行其通常的作用。