任务上下文塑造语言模型中组件的角色

大语言模型在不同任务中复用相同的注意力头，但识别出这些共享注意力头并不能解释它们在各个任务中的作用有何不同。共享脑区之间随任务而变化的交互是一个自然的灵感来源，促使我们从网络视角理解语言模型的计算。在本研究中，我们使用相同的图事实（即指明存在哪些有向连接的陈述），比较固定的模型组件在不同任务中的表现。我们测量干预如何影响注意力头和后续层的激活状态（影响力），以及如何影响答案（重要性）。在涵盖四个模型家族、参数量介于15亿至140亿的五个开放权重模型中，任务变化会重新分配影响力。在 Gemma-2-9B 和 Qwen3-14B 中，激活编辑会改变早期的一个内部激活向量，并在文字指令保持不变的情况下，切换模型读取的事实。随后，相同的注意力头会响应不同的图事实，并以不同方式影响后续组件。对于每个提示，我们构建两个线性响应映射，分别对应编辑前和编辑后。每个映射根据测得的早期注意力头变化，预测后续注意力头的响应。对于另一项针对事实的干预，与两个映射的平均值相比，使用对应条件下的映射可使 Gemma 的均方预测误差降低53.6%，使 Qwen 的均方预测误差降低5.0%。这些发现表明，任务上下文既会改变共享组件响应哪些图事实，也会改变其输出对后续计算的影响方式。基于网络的解释可能有助于说明模型如何利用共享参数执行不同的计算。对任务依赖性影响力的测量，也可以为旨在改变一种行为而保留其他行为的干预提供指导。