QUILT：通过共享查询执行重新思考稀疏注意力预填充

arXiv:2610.11134v1 公告类型：新论文 摘要：稀疏注意力降低了长上下文注意力的开销，但现有内核通常独立处理各个查询，反复加载并反量化多个查询共享的 KV 条目。我们观察到，相邻查询所选的 KV 条目存在大量重叠，为跨查询复用创造了机会。我们提出 QUILT，一种工作负载感知的稀疏注意力执行机制，通过联合处理相邻查询并复用共享 KV 条目，减少冗余的内存流量和计算。QUILT 引入 Shift-and-Compare Set Decomposition（SCSD），将不规则的集合操作转化为适用于现代加速器的规则数据并行原语，并将 SCSD 与注意力计算以流水线方式执行，以隐藏其开销。级联共享在多个粒度上分层实现复用。一种分块感知的执行策略在共享粒度与硬件分块利用率之间取得平衡，并选择性地移除重要性较低的查询专属尾部，以消除利用不足的分块。我们使用 GLM-5.3 和 DeepSeek-3.2，在张量并行和序列并行两种设置下，基于 LongBench 评估 QUILT。与最先进的稀疏注意力内核相比，QUILT 将平均内核延迟最多降低 55.1%，将处理的 KV 数据量最多减少 55.9%，同时将首个词元生成时间（TTFT）延迟最多降低 36.8%，且准确率下降可忽略不计。