何时注意力头消融支持因果主张？投影层级混淆因素、地板效应与匹配对照

arXiv:2610.00373v1 公告类型：新 摘要：注意力头消融，即将某个头置零并测量任务性能的变化，是推断语言模型中哪些组件对某种行为负有因果责任的常用方法。我们使用 GPT-2 small 表明，除非仔细验证干预语义、评估指标和对照设置，否则这种推断可能并不稳健。“将某个头置零”的一种自然的投影后实现方式，与经过修正的投影前消融几乎不相关（Pearson r = 0.057），并且选出的最重要头部前五名集合完全不重合。我们还表明，二元准确率可能掩盖行为表现处于下限或接近上限时的影响，而真实 token 的对数概率仍能提供有梯度的衡量。通过发现集/留出集划分，以及 1,000 次匹配的随机头和层匹配头对照抽样，经过修正的逐头效应排序在不同划分之间高度稳定（Spearman rho = 0.974），且选出的前五个头的效应显著高于两种对照分布（Monte Carlo p = 0.001）。然而，在 GPT-2 上，关于任务特异性的证据并不稳健。在 DistilGPT2 上的复现实验保留了干预语义和匹配对照方面的发现。这些结果表明，单头消融本身并不足以支持因果主张；要作出有依据的解释，必须采用正确的干预位置、未饱和的连续指标以及匹配的留出对照。