解读语言模型参数

arXiv:2610.20748v1 公告类型：新 摘要：机制可解释性旨在揭示神经网络如何利用其参数来实现令人印象深刻的神经算法。尽管以往研究已经发现了网络所使用的中间表征中存在的大量结构，但对于网络的参数和非线性如何在这些表征上执行计算，人们几乎没有取得进展。在本项工作中，我们提出了一种更接近这一理解的方法：将语言模型的参数分解为若干子组件，使每个子组件仅实现模型所学习算法的一小部分，同时只需其中很小一部分子组件即可解释网络在任意输入上的行为。该方法 adVersarial Parameter Decomposition (VPD) 对神经网络参数进行分解，使其由简单的子组件构成；即使对大量子组件进行消融，包括对经过对抗性选择、旨在破坏行为的子组件进行消融，所得分解仍能保留网络的输入输出行为。这种方法鼓励学习能够简洁且忠实于机制地描述网络行为的子组件，并且这些子组件应能够恰当地聚合为对网络所学习算法的更全局描述。我们研究了这些参数子组件之间的交互序列如何在特定输入上产生网络输出，从而实现一种新型的“电路”分析。尽管要进一步深入理解神经网络如何利用其参数计算出自身行为，仍有许多工作要做，但我们的工作提出了一种方法，可以识别出一小组简单且忠实于机制的子组件，并以此为进一步的机制分析奠定基础。