大型语言模型中语法数的编码与传播

稀疏自编码器（SAEs）日益成为一种流行手段，用于将大型语言模型（LLM）的隐藏状态向量转化为人类可理解的特征或符号列表。因此，SAEs 或可帮助我们洞察 LLM 的知识表征和内部“心智”语法——这些主题对于从机制层面解释 AI 行为具有实际意义，对于研究计算机中人类语言的表征也具有理论意义。尽管生成内容的可靠性有限，但在小规模语料库上训练、参数量不足 1 亿的语言模型仍展现出较强的语法能力和语篇连贯性。我们利用在此类模型之一（Pythia-70M）上训练的 SAEs，深入考察单一语法现象——数的一致性——在 LLM 中如何得到表征和处理。我们展示了利用 SAEs 识别并传播“复数名词”“复数主句主语”和“生成复数动词”特征的机制与方法。这些特征会使 LLM 在回应“公园里的那些男人”等提示时，生成“are”“do”或“have”等复数动词形式，而非“is”“does”和“has”。我们表明，通过干预从复数主语名词词元的隐藏状态中移除这些特征，会使模型转而生成单数动词，反向干预亦然。我们还表明，相应的“单数名词”和“生成单数动词”特征在这项任务中的效果较弱。这种不对称性表明，Pythia-70m 对英语语法数采用了以特征有无为基础的表征方式。我们在更大的 LLM——Gemma-2-2b 和 Llama-3.1-8b——上复现了这些发现，得到了类似结果。我们的主要贡献是提出了一种利用 SAEs 理解 LLM 如何编码人类语言的新方法，解决了若干技术和方法论挑战。