PageWeaver：KV 引导的稀疏注意力查询并集

arXiv:2610.11201v1 公告类型：cross 摘要：动态稀疏注意力会限制每个查询所选取的 KV 页面，但较小的支持集并不一定能带来高效的 GPU 工作。查询并集可以共享页面加载并填充 Tensor Core 瓦片；其开销取决于哪些查询被归为一组。我们提出 PageWeaver，这是一种执行设计，利用所选页面的亲和性来组装查询组，同时保留每个查询原有的支持集和完整的输出归属。受限的 GPU 搜索会生成查询 ID，随后由一个感知 ID 的双 CTA 内核使用这些 ID，而无需具体化重排后的 Q 张量或跨页面的部分输出。直接实现 KV 页面并集则提供了关于非局部复用和归约开销的补充性设计研究。在全程使用 FP8 KV 的情况下，H200 Union8 实现基于六组采集数据，相比实测的 FlashInfer 路径，实现了完整调用速度 1.70 倍的几何平均加速。在五组选定的 64K 上下文采集数据上，在线重新分组进一步将延迟降低了 3.26%–7.66%。整体模型预填充吞吐量比测试的原生路径高出 7.88%–14.36%；增量式重新分组带来的收益较小，在 32K/64K 下观测到的中位数增益为 0.47%–0.73%，而在 8K 下出现性能回退。B300 对比实验识别出了一些准备开销较高且原生内核更强、从而无法体现该优势的情况。这些结果将执行组复用与在线利用该复用的完整成本区分开来。