涌现失配模型是否共享同一电路？

arXiv:2610.20887v1 公告类型：新 摘要：在狭义定义的有害任务上对语言模型进行微调，可能会在不相关的领域诱发涌现失配（EM）。尽管先前的研究已在独立微调的模型之间发现了与失配相关的共享表征，但这些模型是否依赖共同的计算组件仍不明确。我们使用三个 LoRA 微调版本的 Qwen2.5-3B-Instruct 来研究这一问题，这些版本分别基于有害医疗建议、高风险金融建议和极限运动推荐进行训练。通过基于方向的激活追踪，我们发现，在三个模型排名最高的五个注意力头中，有三个注意力头位置是共同的。将每个模型选定的五个注意力头的贡献替换为 Base 的贡献后，免费生成中的 EM 比例分别从医疗领域的 38.9% 降至 22.9%、金融领域的 50.7% 降至 12.5%，以及体育领域的 41.7% 降至 11.1%；这一效果优于层匹配的随机干预，且没有降低评估得到的连贯性。跨模型激活迁移进一步表明，共享注意力头对固定响应偏好的影响具有部分可互换性。这些发现表明，EM 中的表征趋同不仅体现在表征层面，还延伸到了共同模型架构中具有因果相关性的共享注意力头组件。