HART：混合注意力与 RWKV 的时间序列基础模型

arXiv:2610.12883v1 公告类型：新发布 摘要：非自回归多步预测（NAF）使时间序列基础模型能够通过单次前向传播预测整个未来时域。尽管 RWKV-7 具有强大的序列建模能力，但在我们的 NAF 实验中，它在长预测时域下出现了性能退化。在这一设置中，未来的数据片段被表示为缺失输入，因此循环状态需要在没有新观测值的情况下沿预测时域演化。我们对 RWKV-7 广义 delta 规则的分析揭示了一种机制，我们称之为占位符空转衰减（PID）：当占位符驱动的写入无法提供充分补偿时，反复的状态转移可能会削弱历史信息。逐层分析表明，大多数层的状态注入范数有所降低，而历史区间与预测区间的转移矩阵范数仍然相近，这与 PID 机制一致。基于这一分析，我们提出了 HART，这是一种混合注意力与 RWKV 的时间序列基础模型，交替使用注意力模块和 RWKV 模块，将对历史词元的直接访问与循环时序建模相结合。在 GIFT-Eval 和 TIME-Benchmark 上的受控实验表明，HART 在中长预测时域下优于纯 RWKV，同时在短预测时域下保持相当的性能，并且其综合性能优于规模相近的纯 Transformer。HART 仅有 3600 万个参数，在 GIFT-Eval 上实现了与 Toto-2.0-1B 相当的长时域预测 MASE（0.752 对 0.754），而参数量约为后者的 1/28。