复习全部，什么也记不住：Attic-KV 复习将被读取的内容

arXiv:2610.12133v1 公告类型：交叉发布 摘要：许多键值（KV）缓存在人们尚不知道会向其提出什么问题之前就已被压缩，例如为检索而缓存的文档、跨请求共享的提示前缀，以及长对话的记忆。当前主流方法通过复习为 KV 条目评分：模型重新阅读上下文，并保留其关注的条目，假设缓存对上下文的复习越完整，记忆效果就越好。我们表明，在预算紧张时，这一假设会适得其反：复习全部，什么也记不住。在 3% 的保留率下，重读全部上下文只能在 RULER 上保住原有 96.5 分中的 31.5 分，而在 LongBench 的自然文本任务上，其表现甚至不如完全不复习的方法。原因在于，缓存会保留它所复习的内容：重读将预算分散到整个上下文，使答案本身对应条目的留存概率仅略高于随机水平。如同考前的学生，缓存通过自测能比通过重读记住更多内容。由此得出两项原则：复习将被读取的内容，并根据内容量决定复习量。我们将这两项原则实现为 Attic-KV（简称 Attic），这是一种无需训练的复习方法，模型使用引用上下文的问答对进行自测，同时辅以数量随内容自适应调整的锚点词元。仅改变复习方式，就能提升三种采用不同评分方式的基础方法：在我们于 RULER 和 LongBench 自然文本任务上测试的全部八种设置中，单独使用 Attic 均是表现最佳的无需训练方法；将其接入基于梯度的 KVgrad 和经过训练的 RestoreKV+ 后，二者的得分分别最高提升 17.1 分和 28.1 分。随着预算缩减，其优势不断扩大，在 3% 的保留率下，相比完整重读的优势达到 41.9 分，而且其压缩速度也快于重读全部上下文。