LowRAM：利用低秩键和摊销值实现测试时可组合的 KV 缓存压缩

arXiv:2611.07025v1 公告类型：新提交 摘要：自回归解码依赖于 KV 缓存，其内存占用随上下文长度线性增长，限制了批大小和吞吐量。现有的训练后方法利用词元、层和特征维度之间的冗余，或降低数值精度。我们发现了一个互补的方向：在每个注意力头内部，值在很大程度上可以由其对应的键预测。我们通过值缓存摊销利用这一特性：在测试时为每个注意力头拟合一个轻量级预测器，并且仅为重建效果最差的词元存储残差，从而实现 $4\times$ 的近乎无损值压缩。该预测器可以通过元学习进行初始化，以显著降低预填充开销；也可以在允许一次性开销的场景中从头拟合，例如多查询推理。我们将值摊销与跨层低秩键压缩相结合，提出 LowRAM，这是一种在三个模型系列上均保持近乎无损的非对称压缩流程。通过在每个解码步骤中仅重建选定的 KV 对子集，LowRAM 能够将解码开销保持在极低水平，并在 $4\times$ 压缩率下实现最高 $5\times$ 的峰值解码吞吐量。LowRAM 还可进一步与量化和淘汰策略组合，在长上下文中达到 $26.9\times$ 压缩率，同时保持基线性能的 $94.5\%$。这些结果表明，将键和值视为结构上不同的对象，可以实现高效、高压缩率且可组合的 KV 缓存压缩。