EchoPress：通过虚拟上下文重构实现与查询无关的 KV Cache 剪枝

arXiv:2610.00412v1 公告类型：新 摘要：KV 缓存剪枝通过驱逐不太重要的键值对，降低长上下文推理的内存使用量。KVzip 通过上下文重构来估计重要性：提示模型逐块重复上下文。这种方法能够实现高质量压缩，但代价是需要额外的前向传播。基于学习的近似方法可以降低这一成本，但需要针对特定模型进行训练。我们分析了 KVzip 如何识别缓存中的重要信息，并展示了如何利用预填充过程中已经计算的信息来近似其重构得分。这些发现促成了 EchoPress——一种无需训练的方法，它利用标准预填充中的查询和键来近似重构注意力。对于每个请求，该方法仅重构第一个块，以校准剩余上下文的重要性得分。在使用 Qwen3-8B 和 Llama-3.1-8B-Instruct 于 LongBench 和 RULER 上进行的实验中，EchoPress 在 50% 至 90% 的驱逐比例范围内，任务准确率与 KVzip 相当，同时将压缩开销降低了 1.7 至 19.6 倍，并将总预填充时间最多降低了 2.9 倍。代码可在 https://github.com/ljwljwljwljw/kvpress/tree/echo-press 获取。