KVFetch：KV缓存压缩中缺失的另一半——时间预取

arXiv:2610.08811v1 发布类型：新论文 摘要：随着上下文窗口扩展到数万甚至数十万词元，KV缓存压缩已成为高效LLM推理的必需技术。现有方法可分为三类：基于分数的驱逐、摘要补偿，以及卸载与召回。然而，这三类方法都根据内容与当前查询的相关性来决定保留或召回哪些内容。我们发现，这种共同的设计在结构上并不完整。缓存支持两种访问模式：按内容进行关联查找，以及按位置进行顺序遍历；而现有压缩器只实现了前者。这一缺口在实际应用中十分重要：检索增强生成、代码补全和结构化数据提取都要求模型从上下文中逐字复现标识符、字段值或代码词元。在压缩条件下，基于内容的驱逐会保留此类序列的开头，却丢弃其后续部分，导致逐字复制在中途不可逆地中断；我们将这一失败称为顺序遗忘。这种失败无法通过改进评分、扩大预算、摘要补偿或动态重新评分来解决；它是压缩条件下剩余质量损失的主要来源。我们提出KVFetch，这是一个无需训练、可即插即用的框架，能够为任意基于分数的压缩器建立时间召回通道。它将被驱逐的候选项降级到量化冷层，通过单调递增的读取指针检测活跃的复制过程，并将位置上的后继内容预取到固定大小的热层槽位中，同时不增加注意力开销。在相同预算对照下的RULER-16K测试中，KVFetch将逐字复制得分从0.8提升至78.4，并使13项任务的平均得分提高8.4；增益主要集中在需要顺序访问的任务上。在不包含任何需要顺序访问任务的LongBench上，该通道保持休眠状态，不产生额外开销。