SlimKV：联合令牌-特征 KV 缓存压缩与无重构信标注意力

arXiv:2610.02953v1 公告类型：新增 摘要：长上下文 LLM 服务越来越受到 KV 缓存内存的瓶颈限制，尤其是在资源受限的场景中。在现有的 KV 缓存压缩策略中，按令牌压缩的方法能够减少缓存状态数量，但可能因驱逐或凝缩而造成信息损失；按特征压缩的方法则能降低每个令牌的 KV 维度，但为了应用位置嵌入，可能需要进行全维度重构，从而限制解码加速效果。我们提出 SlimKV，一种与问题无关的联合令牌-特征 KV 缓存压缩方法。SlimKV 采用感知低秩的训练方法，将长上下文压缩为带有潜在 KV 表示的信标内存状态，并结合层自适应的秩分配。我们进一步揭示了一种位置不对称性：移除键侧 RoPE 对信标令牌和原始令牌的影响不同，其中信标令牌的性能下降幅度小得多。利用这一不对称性，SlimKV 在无 K-RoPE 约束下训练信标 KV 投影，并在解码过程中支持潜在空间注意力，从而降低重构延迟。在 LongBench 上，SlimKV 在 16 倍和 32 倍压缩率下优于基线方法，并在 4 倍和 8 倍压缩率下仍保持领先；此时其得分保持在未压缩模型的 96% 以上。Needle-in-a-Haystack 实验表明，该方法在不同证据位置下均具有稳健性；效率评估显示，在 128K 长度下，相较于未压缩模型，其注意力速度最高提升 7.34 倍，端到端解码速度最高提升 3.38 倍。