用于高效自适应谱递归的共享相位与保持控制

arXiv:2609.39082v2 公告类型：替换 摘要：随着新证据的到来，序列模型必须更新其记忆内容以及记忆影响预测的方式。Transformers 的计算与缓存开销随上下文长度增长，而固定状态的循环模型可实现恒定内存开销的推理。然而，传统的线性递归和谱递归依赖静态状态转移，无法动态调整已存储表征的衰减或旋转方式。尽管近期的选择性架构引入了依赖输入的状态转移，但它们为每个记忆模态分配独立的控制，从而将控制成本与状态容量绑定。我们表明，高维谱记忆并不需要高维控制，并提出 Shared Phase and Retention Control for Efficient Adaptive Spectral Recurrence（SPARC）。SPARC 仅使用两个依赖输入的标量信号，就能协调异质复数模态的记忆保持与相位旋转，同时保留各模态特有的基准时间尺度和频率。其对角仿射递归既支持用于序列级 BPTT 的并行结合扫描，也支持用于在线信用分配的精确结构化实时循环学习（RTRL）。在部分可观测连续控制、POPGym 和序列分类任务中，相较于排名第二的方法，SPARC 在 Walker-P 上实现了 9.09% 的回报相对提升，在 FordA 上实现了 1.36% 的准确率相对提升。在 NVIDIA Blackwell GPU 上，相较于经过优化的 RG-LRU 基线，我们的实现在固定词元数量的工作负载下将循环混合器的训练延迟降低了 18.2%–34.2%，并将扫描速度提升至 3.1–4.7 倍。这些结果表明，两个共享控制信号就能在在线和完整序列场景中高效调控自适应谱记忆。代码已发布于 https://github.com/Botwwt/sparc。