长记忆的代价：序列模型中的状态、上下文与稳定性复杂度

arXiv:2610.08816v1 公告类型：新 摘要：长程时间依赖为序列模型提出了一个资源问题：对于给定的预测记忆规律，要实现准确预测，需要多少状态、上下文或动力学临界性？我们直接从预测风险的角度研究这一问题。对于代数衰减的预测记忆，我们证明了指数模式与有限状态模式的匹配上界和下界近似界。最佳的 $r$ 模式预测误差按 $e^{-\Theta(\sqrt r)}$ 衰减，因此要达到预测误差 $\tau$，需要 $r=\Theta(\log^2(1/\tau))$ 个状态或模式。早期关于记忆诅咒的结果，在不同近似概念下确立了稳定循环模型的广泛局限；而在本文中，对于预测风险中的一个典型预测目标，上下界实现了匹配，从而确定了该目标的最优资源指数。随后我们表明，真正的分数阶长记忆会改变几何结构本身。具体而言，预测误差是在分数阶积分之后度量的；从长度为 $L$ 的有限上下文进行预测时，其首项精确为 $1/L$；而固定的分数阶强度 $d$ 则保持平方对数的状态复杂度规律。在接近短记忆边界时，我们识别出相关的 $d^2$ 和 $d^4$ 尺度，并在中间区域给出统一的构造性规律。对于状态动力学具有一致收缩性的非线性上下文递推，我们推导出一阶混沌包络，并给出一个将预测准确率与收缩裕度联系起来的显式必要条件。在代数型目标上使预测误差趋于零，会定量地迫使递推过程趋向临界性；这一条件是必要的，但单凭它并不充分。有限样本 Kullback--Leibler 计算进一步将预测几何与统计信息联系起来。采用收缩状态空间模型、门控循环模型和注意力模型的定理匹配实验，重现了关于状态与稳定性的预测。