测试时预测：循环深度实现上下文动力学预测

arXiv:2610.19552v1 公告类型：新论文 摘要：面向动力系统的基础模型能够在推理期间预测未见过的偏微分方程（PDE）、常微分方程（ODE）和时间序列。然而，这些基础模型是否真正学到了可泛化的上下文预测策略，仍是一个悬而未决的问题。我们首先建立线性注意力与（扩展）动态模态分解之间的联系，进而表明循环 Transformer 能够在上下文中模拟动力系统的传播算子。随后，我们将这一认识推广为 $\textit{Test-Time Forecasting}$（TTF）框架，其中单步预测器将梯度下降的迭代用作循环深度。我们证明，在 ODE 和 PDE 上接受单步预测训练的轻量级 TTF 模型，能够在自回归展开过程中泛化至分布外的系统动力学。我们的结果进一步支持将 TTF 作为一个具有理论依据的框架，用于设计能够在测试时预测未见动力系统的循环深度模型。