具有样本效率的 Dense Associative Memories 学习

arXiv:2610.27384v1 发布类型：new 摘要：我们对 Dense Associative Memories（DenseAMs）在随机采样的随机扩展子低密度奇偶校验码的码字（亦称随机 XORSAT 问题的解）上进行训练时，其能量函数的演化进行了解析研究。我们发现了两个不同的机制及其之间的转变，这让人联想到神经网络中的 grokking。第一种机制对应较小的训练集规模：模型记住了少量训练样本，却无法发现整个码字词典生成过程背后的基本规则。另一种机制对应较大的训练集规模：模型在仅见过多项式数量的模式后，便揭示出了生成整个数据集的稀疏约束。我们还设计了一类采用阈值化学习规则的新型 DenseAMs，并证明任意程度的阈值化都能使模型执行简化的稀疏哈密顿量学习，从而将学习真实底层数据集所需的训练样本数量降低一个指数级。在这一机制下，模型仅凭 $\mathrm{O}(\log n)$ 个训练样本，就学会发现 $\exp[\mathrm{O}(n)]$ 个解；对于任何学习算法而言，这在渐近意义下都是最优的。在某些随机码的码字上进行训练时，即使有一小部分、比例为 O(1) 的比特是潜变量，模型也能学习底层代码。这些潜变量在学习过程中不会展示给模型，但模型可以通过对观测到的高阶相关性进行稀疏化来发现它们。对于某些随机码，我们证明了一个简单且保守的算法能够为数据集学习出最小潜在表示。这为理解关联记忆训练中深层潜在表示如何涌现，提供了一个透明、受物理学启发且可解析处理的玩具模型。