GAAC：面向个人设备高带宽效率 LLM 推理的无损 KV 压缩

仅权重量化虽然能大幅降低部署大型语言模型（LLM）所需的存储和内存，但不断增长的键值（KV）缓存仍是个人设备上长上下文推理的瓶颈。我们提出 Group-Adaptive Additive Codec（GAAC），一种无损 KV 压缩与服务系统，通过利用指数冗余，在不引入 KV 近似的情况下减少存储开销并加速注意力计算。GAAC 使用经过校准的、针对每通道的基址加偏移编码，对连续范围内的 BF16 指数进行编码。GAAC 在较小的分组之间自适应调整编码宽度，同时逐比特保留 KV 值。融合注意力内核会按需重建 KV 分块，从而避免对整个缓存进行解压。分块压缩和固定容量槽位支持增量式缓存更新与分页服务。在测试的五个模型中，GAAC 实现了 1.405–1.407 倍的无损 BF16 KV 压缩。我们还研究了低精度张量上的压缩性能：FP8 E4M3 缓存达到 1.09–1.14 倍，E5M2 缓存达到 1.25–1.30 倍。在 NVIDIA DGX Spark 上，对于 64K token 上下文，GAAC 将解码注意力速度提升至 1.19–1.27 倍，并将端到端 W4A16 解码步骤速度提升至 1.04–1.15 倍。在服务场景中，在相当的 KV 内存预算下，它将常驻 KV 内存减少约 26%，并将聚合吞吐量提升 13–29%。在 Apple M4 上，GAAC 实现了 1.02–1.25 倍的注意力加速，展现出超越 NVIDIA GPU 的可移植性。