SpectralCache：通过谱特征缓存加速基于扩散的世界模型

arXiv:2610.02660v1 公告类型：交叉发布 摘要：基于扩散的世界模型能够生成高质量的交互式环境，但由于在去噪过程中需要反复执行 Transformer 计算，推理开销较大。现有缓存方法主要利用特征或词元层面的时间冗余，而对扩散特征背后的数学结构仍缺乏深入探索。在本研究中，我们揭示了世界模型的特征在相邻去噪步骤之间呈现高度稳定的奇异子空间，而其奇异值则遵循可预测的演化规律。基于这一观察，我们提出了 SpectralCache，这是一种无需训练的谱缓存框架，可复用稳定的奇异子空间，并通过线性外推仅估计低维奇异值。我们进一步利用相邻完整计算所得特征之间的谱一致性，通过奇异值缩放跳过部分开销高昂的骨干网络计算。在代表性世界模型上开展的大量实验表明，SpectralCache 能够在保持生成质量的同时，持续提升推理效率。在 HunyuanWorld-Voyager-13B 上，SpectralCache 实现了 5.22 倍加速，同时在静态场景中保持 65.90 的 WorldScore，在推理效率方面显著优于现有的无需训练的缓存方法。