SPIN：用于稀疏注意力的 Shadow Predictive Indexer

arXiv:2610.09025v1 公告类型：新 摘要：基于索引器的稀疏注意力通过仅将固定数量的少量重要 token 传递给核心注意力模块，降低了其计算成本。然而，索引器仍必须在每个解码步骤对整个 KV 缓存进行评分。随着上下文长度增加，这一评分开销会成为主要瓶颈。我们提出 SPIN（Shadow Predictive Indexer）以降低索引器开销。SPIN 使用基于历史记录的轻量级预测来识别重要的 KV 块，从而避免在每个解码步骤对完整 KV 缓存进行评分。SPIN 将 KV 块和推测解码作为设计与实现中的一等要素。在长上下文和智能体基准上的大量评估表明，SPIN 在保持任务质量的同时实现了 30%–40% 的稀疏度。在端到端 vLLM 服务中，SPIN 将输出吞吐量最高提升 14.9%，并将 token 间延迟中位数最高降低 13.2%。