CompKV：面向长上下文 LLM 推理的补偿感知 KV 选择

尽管大语言模型（LLM）表现出色，但在长上下文推理过程中，KV cache 的内存流量成为性能瓶颈。稀疏注意力通过仅对选定的部分 token 计算精确注意力，被广泛用于加速 LLM 推理。为了恢复未参与精确注意力计算的 token 所产生的影响，近期方法会对被省略的注意力尾部进行粗粒度补偿。然而，现有方法通常先依据注意力质量选择 token，然后再对未选中的 token 进行补偿。这种解耦设计忽略了二者之间的相互作用：选择时应优先保留那些一旦被省略就会导致最大补偿误差的 token。为解决这一局限，我们提出 CompKV，这是首个具备补偿感知能力的稀疏注意力框架。该框架将 token 划分为多个块，并针对下游补偿机制显式优化选择过程。我们的理论分析表明，块级均值补偿所产生的残差同时受块注意力质量和块内 logit 变化程度影响。我们利用紧凑的块级统计信息对该残差进行近似，从而得到一种可部署的选择准则。此外，我们还实现了一种高效的异步实现。在 RULER 和 LongBench-Pro 上的实验表明，在所评估的稀疏基线方法中，CompKV 性能最佳，同时相比完整注意力实现最高 $6.85\times$ 的 self-attention 加速。