面向跨上下文 KV-Cache 重用的预算式缓存修复

arXiv:2610.02233v1 公告类型：cross 摘要：跨上下文 KV-cache 重用会在新的前缀下预测共享片段的键和值，而不是重新计算它们；据报道，这样做不会造成质量损失。我们的发现并非如此，并确定了两个问题。（1）隐藏成本：在 MMLU 和 GSM8K 上，重用会导致准确率显著下降。（2）决策单位不当：没有任何用于决定是否重用缓存的规则能够消除这一成本。真正有效的是选择缓存中的哪些部分进行重新计算；而且，随着选择单位变大，做出正确选择的价值会下降：在单行级别（一个 token 的键和值）进行有依据的选择，可以在超出随机选择的部分中消除 49.5% 的缓存误差；在 64-token 分块级别为 10.6%；而在整个调用级别则完全没有效果。Budgeted Cache Repair (BCR) 作用于选择仍然有价值的单位。它从组装后的缓存中起草两个 token，根据这两个 token 对各缓存行分配的注意力对缓存行进行排序，然后在三种布局之一中，精确地重新计算固定预算数量的缓存行。该成本被实际承担，而不是通过预测将其规避；而且，作为门控机制时失效的起草结果，作为选择器却能成功。BCR 在大多数调用仍由缓存提供服务的同时，将 GSM8K 恢复到稠密预填充的准确率；在参考网格中，其最佳布局的表现超过了所有重用基线的平均值。该起草器在相同预算下也优于抛硬币选择器——这是以往评估所缺少的一项对照基准。