按设计实现的记忆：概率序列层

arXiv:2605.31163v4 公告类型：replace-cross 摘要：我们引入了\emph{设计模型框架}：一种根据关于记忆的显式假设推导高效递归序列映射的方法。设计模型通过精确贝叶斯滤波将证据写入记忆；依赖查询的读出会生成预测分布，其均值即为层输出。在我们的线性高斯实例中，\emph{Bayesian Layer}同时传播均值和协方差：协方差跟踪所存储关联的不确定性，使写入过程朝向不确定的方向，在证据不断积累时逐渐减小增益，并保留具有高置信度的记忆。同一框架统一了若干次二次方递归：在线性注意力、GLA 和 Mamba-2/SSD 中，它们是在潜在输入设计模型下的精确滤波器；而 DeltaNet 及相关的 Delta-rule 模型，则是对 Bayesian Layer 设计模型进行协方差重置后得到的约化形式。恢复协方差传播后，可以得到关于检索动态的闭式预测；我们通过实验证实了这些预测，并在受控碰撞研究、学习式关联回忆和 Zoology MQAR 基准测试中发现，这样做提升了模型在训练范围之外的鲁棒性。在匹配状态预算的条件下，从头开始在 WikiText-103 上训练，可降低关联回忆命中样本的困惑度。将 Bayesian Layers 蒸馏到一个预训练的 340M Gated DeltaNet 中，相较于计算量匹配的对照模型，能够提升 RULER 长上下文检索性能，但会使留出集困惑度增加 2.5--2.7%。