Transformer 拒答机制中的组件与维度稀疏性

arXiv:2610.06903v1 发布类型：cross 摘要：激活引导通过干预大型语言模型的内部激活来操控其行为，但这些干预背后的机制基础仍缺乏充分理解。我们在四个开放权重模型中，将拒答引导分解为组件级干预，识别出仅对注意力和 MLP 组件中的稀疏子集进行引导，便足以复现完整行为效果。我们发现，拒答方向集中于由上游组件中 28--48\% 构成的稀疏组件机制中，同时保留了 88--101\% 的引导效果。在这些机制内部，有效引导进一步集中于残差流维度中约 50\% 的维度，并保留了组件机制基线效果的 85--98\%，这与一种特权基结构相一致。因此，稀疏性作用于两个层面：被引导的是哪些组件，以及这些组件中的哪些维度承载了信号。这些发现共同表明，拒答并非弥散地编码于 Transformer 中，而是由一种结构化且可识别的机制组装而成，为理解拒答行为如何被表征和引导奠定了基础。为便于复现，我们在 https://github.com/wang-research-lab/Refusal_Mechanisms 发布了全部代码和原始实验结果。