SAE 训练数据的缩放定律

arXiv:2611.07756v1 公告类型：新论文 摘要：激活值存储往往是稀疏自编码器（SAE）训练中的瓶颈。我们研究了在总训练预算固定时，SAE 需要多少个不同的激活值。随着缓冲区增大，质量迅速提升，随后进入平台期；此时，重复使用缓冲区中的数据几乎与在整个训练过程中持续使用新激活值同样有效。超过这一临界点后，增加不同的激活值对重构或可解释性的收益很小，因此缓冲区无需随训练预算一同增大。我们用一条适用于有限数据的缩放定律来描述多样性与重复使用之间的权衡。我们在不同的字典规模和词元预算、Llama-3.1 的前部、中部和后部层、不同规模的 Qwen3 模型，以及 BatchTopK、TopK 和 JumpReLU SAE 上验证了这一定律。我们还使用数学文本和 Python 代码开展参数扫描实验，以检验改变激活值来源的影响。评估涵盖解释方差（EV）、重构均方误差（MSE）、特征吸收、自动化可解释性和稀疏探测。这些结果给出了一条实用的训练准则：选择能够达到质量平台期的最小缓冲区，并在剩余预算内重复使用其中的数据。在我们的实验中，这使激活值存储需求降至原来的 $1/8\text{--}1/64$，而质量损失可忽略不计。