超越 SAEs：通过稀疏编码实现一致的概念发现

稀疏自编码器（SAEs）通过将激活分解为学习得到的字典原子的稀疏组合，来解释基础模型的表征。然而，不同训练运行得到的字典可能有所差异，从而限制了基于 SAE 的分析的可靠性和可复现性。我们提出一致性稀疏字典学习（ConSDL），用逐样本稀疏编码替代标准的线性编码器。这一方法的动机来自我们的合成分析：与逐样本优化得到的系数相比，单次线性编码器前向传播得到的系数并非最优，这表明稀疏编码是学习字典的一种可靠机制。在 16 种合成设置中，ConSDL 几乎完美地恢复了字典和系数。这些优势进一步转化为四种视觉和语言设置下业界领先的跨随机种子一致性：与六种 SAE 基线方法的平均结果相比，ConSDL 将字典一致性和系数一致性分别提升了 17.6% 和 35.9%。