能力增强可以被定位吗？

arXiv:2610.21294v1 公告类型：新 摘要：基于 Transformer 的语言模型在众多任务和领域中展现出了强大的能力。然而，先前研究表明，对于给定任务而言，并非所有注意力头都同等重要。具体而言，这些研究指出，许多\textit{冗余}头可以被安全移除，且几乎不会产生影响；而少数\textit{重要}头一旦被消融，则会严重损害模型在该任务上的性能。在本文中，我们研究了一个互补方面，称为\textit{能力增强定位}（Capability Enhancement Localization，CEL）：\textit{给定一个模型和一个任务，是否存在一小组头，移除它们能够提升任务性能？}我们首先在来自不同系列的模型上对这一问题进行了\textit{实证}研究。通过一个简单的两阶段流程——筛选候选头并评估它们的联合消融效果——我们找到了若干稀疏的头组合；在无需进一步微调的情况下，移除这些组合能够提升特定任务的性能。受这些观察结果启发，我们进一步从\textit{理论上探究这种现象是否能够自然地产生于训练动态，以及其产生需要满足哪些条件}。为此，我们构建了一个简化的多头 softmax 注意力模型以及两个具有冲突特征的任务，并证明从较小的随机初始化出发进行梯度下降，会将冲突特征集中到特定的头中。我们进一步证明，消融这些头能够提升一个任务上的性能，同时损害另一个任务上的性能，尽管训练最终收敛到了联合目标的全局最优解。这为 CEL 提供了一种可能的、由训练过程诱导的理论解释。