原子特征的可检验理论

我们提出并检验了一种语言模型表征理论，其中存在原子特征。我们的主要理论洞见是，在这种模型中，规模不断增大的稀疏字典（例如 SAEs）能够恢复训练数据中出现频率最高的原子特征的不断延长的前缀。这一“恢复原理”带来了三个可检验的预测：小型 SAEs 中的许多特征会被所有更大型的 SAEs 共享；在不同数据上训练的 SAEs 会共享在两者中都很常见的特征；而规模足够大的 SAEs 则会同时恢复父特征和子特征。与“SAE 特征不稳定，并且会随着规模增大而发生‘拆分’”这一传统观点相反，我们发现，在两个大型嵌入模型上训练的、规模从 512 到 131,072 不等的 SAEs 确实符合这些预测。从理论角度看，我们的结果表明，建立一种基于原子特征的表征科学理论具有很大潜力。从实践角度看，我们的结果表明，扩大 SAEs 的规模具有很大潜力。