稀疏自编码器中的数据收益递减：功能行为并不能保证特征可复现性

arXiv:2610.20680v1 发布类型：新 摘要：稀疏自编码器（SAE）通常使用数亿至数十亿个激活标记进行训练，但很少有研究检验如此规模是否确有必要。我们通过在三个语言模型上训练四种 SAE 架构，研究 SAE 需要多少激活数据；所使用的数据预算从 500 万个标记到 5 亿个标记的参考规模不等。我们衡量了两种收敛概念：标准评测中的功能行为，以及所学习特征的一对一可复现性。功能层面的数据需求高度依赖于评测指标：重构性能通常在远小于完整数据的预算下就接近全数据参考值，而特征可复现性则会随着数据量增加而持续提升。对于 Gemma-2-2B BatchTopK，严格匹配特征的比例从 500 万个标记时的 2\% 上升到 5000 万个标记时的 29\%。数据选择同样重要：随机采样能够更好地保留原始激活分布，并且通常有利于重构；而基于多样性的采样则经常能改善 AutoInterp。理论分析区分了子采样训练的统计一致性与实现一对一特征恢复所需的更强可辨识性和优化条件。我们的结果表明，只要使数据预算与目标相匹配，SAE 训练通常可以显著提高数据效率；同时，通过明确的可复现性检查来支持特征层面的结论，也为成本更低、可靠性更高的 SAE 研究铺平了道路。