CommunityKV：通过图划分实现高效的长上下文解码

arXiv:2610.00418v1 公告类型：新 摘要：将 Transformer 扩展到长上下文面临两项限制：自注意力的二次成本，以及键值缓存内存传输量的线性增长。稀疏注意力通过仅检索相关 token 缓解了这一问题，但现有方法要么需要大规模训练，要么在免训练场景下依赖语义粒度较粗的启发式方法，或依赖难以在解码过程中高效更新的高成本聚类。我们提出 CommunityKV，这是一种将稀疏注意力表述为社区检测问题的框架。CommunityKV 利用标准预填充过程中已经计算出的 $QK^T$ 分数构建 token 图，并将图划分为多个社区，以实现对语义一致的 token 组进行检索。局部更新规则可在常数时间内将新生成的 token 分配到相应社区，从而无需进行全局重新划分，即可在流式解码过程中持续执行稀疏检索。我们在三个长上下文基准上，使用 Qwen3 和 Llama-3.1 模型对 CommunityKV 进行了评估。每个查询头使用一张图时，CommunityKV 在端到端生成吞吐量方面最高可达到稠密注意力的 1.25 倍；而查询组图聚合在保持相当准确率的同时，最高可达到 1.71 倍。