HLA-WM：面向长时域视频世界模型的混合线性注意力

长时域视频世界模型需要持久记忆，以在长时间推演中保持场景一致性。Softmax 注意力通过不断增长的 KV 缓存保留完整的生成历史，而循环线性注意力则将历史压缩为固定大小的状态，大幅降低内存开销。然而，我们发现 Gated DeltaNet（GDN）存在严重的长程遗忘问题：来自遥远但相关场景的信息会在后续状态更新中逐渐衰减。为解决这一局限，我们提出 HLA-WM，这是一种无需训练的混合线性注意力框架，将粗粒度的几何引导检索与细粒度的循环线性状态计算相结合。HLA-WM 利用 GDN 的仿射结构，缓存紧凑的分块状态转移摘要，利用相机几何信息检索与场景相关的历史块，并将其重新组合为针对特定查询的循环状态。在时长为 $60$ 秒的 SANA-WM-Bench 上，HLA-WM 无需额外训练即可改善基础自回归生成器的全部六项重访一致性与相机控制汇总指标，其中 PSNR 提升 $0.74$ dB，旋转误差降低 $28.5\%$。这些改进在下游细化处理后依然保持，并可泛化至 MBench-A：在涵盖全部四个子集及所有受评估推理模式的 $547$ 个样本上，HLA-WM 均持续改善全部三项重访一致性指标。在 $60$ 秒的上下文下，相较于完整 KV 缓存，HLA-WM 将历史状态内存占用降至原来的 $1/12$，同时推理吞吐量最多仅下降 $1.6\%$。这些结果表明，可选择性寻址的循环记忆能够改善长程场景回忆能力，同时保留 GDN 的效率优势。项目主页：https://caesarhhh.github.io/hla-wm/