WakeKV：为改变想法的注意力头提供响应式、可逆的 KV 驻留

arXiv:2610.02713v1 公告类型：cross 摘要：大多数 KV 缓存压缩方法只对注意力头进行一次分类，无论是在离线阶段还是预填充期间，并在整个生成过程中保持该分类不变。我们在三个模型（1.5B-8B）和三种场景（针尖检索、长链式思维和多轮回忆）下进行评测，在四种模型-场景组合中测量注意力头的行为，发现大多数注意力头在生成过程中至少会改变一次其读取行为。我们提出 WakeKV，这是一种响应式驻留策略：它将进入冷却状态的注意力头移入可恢复的 CPU 储存区，而不是冻结其状态或永久驱逐其状态。在相同内存或预算条件下，与冻结式分类和破坏性驱逐相比，WakeKV 始终能够降低未命中率；我们在五种模型-场景组合上进行了评估，并在其中四种符合条件的组合上与三个文中引用的基线（SnapKV、uniform R-KV 和 ReasonAlloc）进行了比较。基于 Mistral-7B 的 FlexiCache/vLLM 实现证实了其在真实硬件上的优势：在保持 LongBench 质量的同时提高了吞吐量。