KV$^2$：一种自我精炼的 KV Cache

键值（KV）缓存的内存占用限制了长上下文模型的实际应用；当一个预填充上下文随后需要服务于许多不同查询时，它更是占据了主要成本。在这种可复用场景中，与查询无关的压缩需要在成本和质量之间进行权衡：轻量级估计器成本低，但准确性较差；而基于完整上下文重构的评分更加准确，却需要重新处理整个提示词。我们提出了 KV$^2$，一种基于选择性重构的、与查询无关的 KV-cache 压缩方法。KV$^2$ 首先使用轻量级代理评分器识别上下文中的信息性 token，然后仅重新处理这一子集，以计算最终的淘汰分数。在 RULER、Needle-in-a-Haystack 和 LongBench 上，随着预算收紧，KV$^2$ 相较基线方法的优势不断扩大：在 RULER 16K、KV-cache 预算为 2% 时，其平均得分比次优基线高出 40 多个百分点；在 LongBench 上，在 2%-10% 的预算范围内，其平均得分均为最高，同时压缩阶段的运行时间和峰值内存均低于完整上下文重构。因此，可复用的 KV-cache 压缩并不需要重新处理完整上下文。我们的代码可访问 https://anonymous.4open.science/r/KVsquared-0B97。