通过规模化激活反演迈向对任意残差流方向的解释

要解释语言模型残差流中的某个方向，我们可以寻找能强烈激活该方向的文本。但如果通过扫描语料库来寻找这类文本，结果就会受限于语料库所包含的内容。我们开发了 Maximally-Activating Example Metamodels（MAEMs），这类语言模型能将被研究模型的残差流方向映射为强烈激活这些方向的文本示例。我们的目标是最大化给定残差流方向与 MAEM 所生成文本的激活之间的余弦相似度。这一无需标签的强化学习目标有助于利用来源多样的残差流方向，规模化训练 MAEMs。实证结果表明，训练得到的元模型能够生成信息丰富的示例：Qwen3.6-27B MAEM 对留出激活的反演效果优于语料库搜索和自然语言自编码器（NLA），在大多数留出语言和领域上的表现优于搜索规模为 1000 万词元的语料库搜索，并能激活 89% 的留出 SAE 特征。它识别引导向量背后概念的能力也与 NLAs 大致相当，恢复 LoRA 后门载荷的成功率高于语料库搜索，甚至能将模型工作区中的部分内心独白表达为自然语言。与其他元模型（如 NLAs）生成的解释不同，MAEM 的示例可以通过在被研究模型上执行一次前向传播来验证，因此，MAEM 目标为规模化训练元模型提供了一种有据可验的替代方案。