预测并非充分的记忆状态

arXiv:2610.13881v1 公告类型：新论文 摘要：能够复现当前所有预测的记忆，仍可能已经遗忘了如何从下一次观测中学习。我们针对精确累积学习和注意力机制刻画了这一区别。对于特征和标签均为不受限制的实数的光滑凸残差损失，当且仅当损失为多项式时，才存在固定维度的连续递归状态。对于普通的、未加权的观测，$D$ 次多项式恰好需要 $r=\binom{d+D}{D}-1$ 个坐标；即使在当前预测器固定为同一个预测器的历史中，继续学习仍可能恰好需要 $r-d$ 个坐标。对于非多项式损失，这类预测相同的历史所需的状态维度没有上界。在有界标量逻辑斯蒂示例中，即便固定任意有限阶导数喷射，这一障碍仍然存在。对于岭回归，隐藏的证据是设计矩阵：精确状态需要 $dp+d(d+1)/2$ 个坐标，而预测器只需 $dp$ 个。在一个条件良好的零预测族上，最优 $B$ 比特压缩的平均单次更新误差量级为 $d^{-1}2^{-2B/s_d}$，其中 $s_d=d(d+1)/2$，即使允许任意随机编码也是如此。核注意力提供了第二种精确闭包分类。这些结果揭示了未来更新会暴露哪些信息，而非提出新的回归算法，也不声称能提升已训练模型的性能。