为 1 比特 KV 缓存压缩定制量化空间

arXiv:2610.03027v1 公告类型：new 摘要：在长上下文 LLM 推理中，键值（KV）缓存已成为主要的内存瓶颈，对内存容量和带宽造成巨大压力。为缓解这一瓶颈，向量量化（VQ）已成为一种很有前景的 KV 缓存激进压缩方法。然而，现有 VQ 方法在 1 比特场景下性能会大幅下降。在如此极端的压缩条件下，每个码本必须使用有限数量的质心来表示更大的一组通道，因此如何有效利用其容量变得越来越困难。为此，我们提出了 $\textbf{TaSQ}$，通过结合查询引导的通道加权、跨头归一化和感知协方差的通道分组，对 VQ 目标空间进行定制，使其更好地反映缓存激活值的误差敏感性和统计结构。由于这些变换与 RoPE 兼容，并且可以轻松合并到投影权重和码本中，TaSQ 保留了传统的 VQ 查找结构，同时几乎不会增加服务开销。在通用推理、长链式思维推理和长上下文检索基准测试中，TaSQ 始终优于现有的低比特 KV 缓存 VQ 基线，同时保持推理稳定性。在单张 RTX 6000 Ada GPU 上，其 SGLang 实现支持最高达 BF16 基线 $14\times$ 的批量大小，并实现了 $1.87\times$ 更高的峰值吞吐量。