何时驱逐，而非保留什么：Draft-Guided Eviction for Training-Free KV-Cache Compression

arXiv:2609.33334v2 公告类型：替换 摘要：SnapKV、H2O 和 PyramidKV 等无需训练的 KV-cache 压缩方法会在预填充结束时驱逐 token，旨在保留未来查询预计会使用的注意力权重总量，即优化“保留什么”。我们发现，这一目标存在两种截然不同的失效方式。(1) 补偿：恢复被驱逐的注意力权重总量，可以恢复注意力层面的目标，却无法恢复任务质量。(2) 选择：即使覆盖了更多真实解码查询的注意力权重总量，当恢复的权重被分散而非集中于连贯的片段时，也可能损害质量。这些失效有一个共同原因：驱逐发生在决定答案轨迹的查询出现之前。我们提出 Draft-Guided Eviction (DGE)，利用完整缓存先生成前 k=2 个答案 token，再延后执行驱逐——这仅比预填充多一步解码。由于草稿是根据答案自身的前缀生成的，因此在这一轨迹信号可用之前，不会丢弃任何缓存条目。每个注意力头的缓存预算保持不变，并且无需修改 SnapKV、PyramidKV、H2O 和 StreamingLLM 的驱逐评分，即可直接应用 DGE。不同于额外遍历方法，DGE 改变的是驱逐发生的时机，而不是选择哪些缓存条目。大量实验表明，在六个经过指令调优的骨干模型中的五个上，DGE 在所有评估预算下都优于先前方法；在 LongBench 上达到 44.2，几乎与 FullKV 的 44.3 持平。仅改变时机的对照方法 DGE-W 达到了相同分数，表明性能提升来自驱逐发生的时机，而非所选择的内容——我们将这一效应称为轨迹锚定。