权重读写特征：以激活空间为基础的可扩展参数分解

arXiv:2609.37731v2 公告类型：替换 摘要：激活空间和参数空间为模型计算提供了互补的视角。激活表示信息，而权重则读取、转换并写入这些信息。然而，现有的可解释性方法大多分别研究这两个空间，对于所表示的信息与参数层面计算之间的联系探索不足。我们提出激活支持的参数分解（Activation-Supported Parameter Decomposition，ASPD），对激活空间和参数空间进行联合分解，并将每个学习到的权重分量与其读取或写入的激活特征建立对应关系。这种对应关系利用模型内部的激活，对原本不唯一的参数分解施加约束；同时，内部重构目标为正在分析的权重矩阵提供局部学习信号。这些特性结合起来，使得在预训练大型语言模型中进行可扩展、可解释且可因果编辑的参数分解成为可能，我们在 Qwen-3-8B 上对此进行了展示。学习到的读写分量还可以组合成参数层面的机制电路。我们使用 ASPD 恢复经典 IOI 电路背后的机制，并追踪语义转换如何通过模型权重实现。