稀疏自编码器中的推断与学习：作为自然梯度流

arXiv:2610.07389v1 公告类型：新 摘要：稀疏自编码器被广泛用于发现神经网络中具有可解释性的特征，但当特征相互重叠或激活频率较低时，实现可靠恢复仍然十分困难。这些挑战既涉及推断哪些特征能够解释输入，也涉及学习表示这些特征的字典。在本文中，我们将推断与字典学习统一为共享变分自由能上的自然梯度流。我们将这一框架具体实现为 BeFOND：一种无编码器稀疏编码模型，具有闭式推断和学习动力学。我们展示了递归式解释消除如何减少重叠特征之间的干扰，同时 Fisher 预条件化能够补偿稀有特征学习缓慢的问题。在合成数据上，BeFOND 改进了字典恢复和稀有特征检测；随着叠加程度增加，相较于摊销式基线模型，其优势不断扩大。在语言模型激活上，它改进了单特征概念检测和选择性干预，使用显著更少的训练数据便超越了预训练的参考 SAEs。随着字典宽度增加，其特征质量仍持续提升，而所评估的基线模型大多趋于饱和。总的来说，这些结果表明，在统一的概率框架内改进推断与学习，能够更有效地利用数据和字典容量，从而解释神经表征并对其实施干预。