常数内存回忆：固定矩阵状态中的学习关联

arXiv:2610.00232v1 公告类型：新 摘要：固定大小的循环记忆限制了推理期间存储空间的增长，但成功回忆取决于任务和训练方式。我们研究了一个小型 DeltaNet 变体，其中使用固定的、特定于词元的键偏置，并训练其记住每个序列中的 32 个新键值配对。在 32 KiB 的循环矩阵状态下，当从序列中的值进行选择时，该模型在三个训练随机种子下取得了 99.95% 的平均准确率。当填充内容将查询前上下文扩展至 1,798 个词元而不增加配对数量时，回忆准确率仍接近完美。将第一个记忆块置零会消除这种回忆能力。在主要训练预算的四分之一后，一项探索性的 48 对测试仍接近随机猜测，并未发现容量上限。参数量匹配的向量模型和 Transformer 基线仍接近随机猜测，包括经过额外训练搜索的 Transformer。这一尚未解决的基线失败使得记忆效率比较无法进行。