EchoKV：通过迭代查询反馈实现自校正的 KV 缓存驱逐

KV 缓存驱逐并不仅仅是一个词元排序问题：为生成驱逐查询而保留的工作区也决定了这些查询的质量。因此，早期的工作区错误可能扭曲后续的查询观测，并强化错误的最终驱逐决策，尤其是在证据分散于长上下文中的情况下。我们提出 EchoKV，通过迭代校正发现并解决这一失效模式。它利用未来解码位置的候选提案，初始化一个兼容反馈的引导工作区，然后利用早期解码生成的查询，在执行剩余前瞻步骤之前恢复工作区。它使用的工作区前向传播次数与 LAQ 相同，同时增加了一次张量重新评分操作来修复工作区。在 LongBench 上（16 项任务，使用 Mistral-7B-Instruct-v0.2 和 Qwen2.5-7B-Instruct），EchoKV 在多项需要利用分散证据的任务中相较 LAQ 表现出显著提升，包括多跳跨文档问答和长篇单文档理解。在不同缓存预算和骨干模型下，EchoKV 有针对性地提升了证据密集型任务的表现，同时在其余 LongBench 子集上保持了相当的性能。这些结果表明，查询与工作区之间的耦合是查询驱动的 KV 缓存驱逐在实际应用中的一种失效模式。