通过规模化激活反演，迈向对任意残差流方向的解释

arXiv:2611.08465v1 公告类型：新提交 摘要：要解释语言模型残差流中的某个方向，我们可以寻找能强烈激活该方向的文本。但如果通过扫描语料库来寻找此类文本，结果就会受限于该语料库所包含的内容。我们开发了 Maximally-Activating Example Metamodels（MAEMs），这类语言模型将目标模型的残差流方向映射为能强烈激活这些方向的文本样例。我们的目标是最大化给定残差流方向与 MAEM 所生成文本的激活之间的余弦相似度。这种无需标签的强化学习目标有助于利用多种来源的残差流方向来规模化训练 MAEMs。实证结果表明，训练得到的元模型能够生成富有信息量的样例：一个 Qwen3.6-27B MAEM 对留出激活的反演效果优于语料库搜索或自然语言自编码器（NLA），在大多数留出语言和领域上优于基于 1000 万 token 的语料库搜索，并能激活 89% 的留出 SAE 特征。它识别引导向量背后概念的能力也与 NLA 相当，恢复 LoRA 后门载荷的成功率高于语料库搜索，甚至能将模型工作空间中的部分内心独白用语言表达出来。与其他元模型（如 NLA）生成的解释不同，MAEM 样例可以通过在目标模型上进行一次前向传播来验证，因此，MAEM 目标为规模化训练元模型提供了一种有据可验的替代方案。