Dual-QK：用于可剪枝 2 位 KV 缓存的尖锐查询与平坦键

arXiv:2610.09827v1 公告类型：新 摘要：长输入和延长生成会增加键值（KV）缓存的存储与访问成本。低比特量化可减少存储和内存流量，而查询通道剪枝则能进一步减少键缓存读取。基于旋转的量化会将键中的异常值能量重新分配到各个通道。为保持计算不变性，必须对查询应用相同的正交变换，从而保留查询与键的点积。然而，这种旋转可能会分散查询能量，削弱少数需要保留的大分量与大量可剪枝的小分量之间的区分度。我们提出 Dual-QK，利用成对的非正交查询变换和键变换来解决这一冲突。Dual-QK 使用校准后的查询和键统计信息，将部分键白化与查询对齐基相结合，从而平衡键的尺度以进行 INT2 量化，并集中查询能量以实现动态通道剪枝。通道 0 保护和相对桶的 RoPE 支持在长上下文中实现低比特精度。在四个模型、五个生成基准以及长上下文检索任务上的实验表明，在 40% 查询通道稀疏率下，Dual-QK 在大多数任务上的准确率优于 OSCAR。在 128K 上下文下，相较于未剪枝的 BF16，Dual-QK 可实现 $6.8\times$ 的 KV 缓存压缩，并预计将 KV 读取量减少 $8.3\times$。在所评估的配置下，我们的 SGLang 实现的解码吞吐量最高可达到未剪枝 BF16 的 $3.75\times$。