SparseGDN：线性注意力中的分块稀疏

arXiv:2610.41420v1 公告类型：新论文 摘要：Gated Delta Networks（GDNs）支持线性时间的序列建模，但由于块内密集计算、循环状态更新和中间状态存储，长上下文预填充的开销仍然很高。我们提出 SparseGDN，这是一个硬件感知框架，将结构化块内近似与依赖输入的循环事件选择相结合，同时为每个词元生成输出。块邻接求解器减少局部 Delta 求解的计算量，而动态选择器则在注意力头对之间分配循环更新预算。GPU 实现仅为选定事件实际生成更新，并利用紧凑的状态快照和组内局部交互重建词元输出，从而减少计算量和内存流量。我们在 Qwen3.5-4B 和 Qwen3.5-9B 上，针对 RULER 任务以及从 4K 到 128K 的上下文长度评估 SparseGDN。在平均保留约 29% 的循环事件的情况下，计入在线选择开销后，SparseGDN 的 GDN 核心预填充速度相较于原生 FLA 内核提升至 1.50–1.94 倍。