Page-EntroKV：分组查询注意力下硬件对齐、熵加权的 KV 缓存淘汰

arXiv:2610.03135v1 公告类型：new 摘要：长上下文自回归语言模型的服务受到键值（KV）缓存的限制。大多数动态淘汰方法针对每个查询头评估 token 重要性，并独立选择 token。这与分组查询注意力（GQA）并不契合，因为多个查询头共享一个物理 KV 缓冲区：各头之间不一致的选择会迫使服务引擎保留它们选择结果的并集，使缓存容量最多膨胀至组比例 r 的倍数；而算术平均池化则会稀释承担事实召回功能的专用检索头。我们提出 Page-EntroKV，这是一种在 GQA 服务实际分配资源的粒度上运行的 KV 缓存淘汰形式化框架。每个物理组内的头通过由隔离 sink 后的碰撞（Renyi-2）熵导出的权重进行池化——每个头只需计算一次内积，并在预填充阶段完成，无需校准——从而避免 sink 头伪装成检索头。池化后的分数被映射到 PagedAttention 页帧上，淘汰操作则在硬件元组（层、组、页）这一粒度执行。我们形式化定义了并集开销比（UOR）和组内分歧度；证明了对于双头组二者之间的精确恒等式，以及在任意组比例下成立的双侧界；证明了严格的预算保持性质和有限上下文中的 needle 保留界，而算术平均池化经证明会违反该界；并给出了精确到每层的页面计数。在一个试验架构（Qwen2.5-1.5B-Instruct，r=6）上，对 2,240 个组测量进行与头无关的重放显示，在 2% 的预算下，并集开销最高可达 4.75 倍，而 Page-EntroKV 将 UOR 精确保持为 1.000；隔离 sink 消除了 13 倍的 sink 伪装；在 20% 的预算下，needle 召回率达到 100%，而算术平均池化为 0%；对于任意页大小，保留基数均保持精确；在保留率为 20% 时，问答和代码任务仍然可以完成。