AttSVD：通过注意力引导的 SVD 实现提示自适应低秩 KV 缓存压缩

arXiv:2610.06927v1 公告类型：new 摘要：自回归 Transformer 的键值（KV）缓存会随上下文长度线性增长，并在长上下文场景下占据主要内存。大多数无需训练的解决方案会驱逐重要性较低的 token，这是沿序列轴做出的不可逆选择。相较之下，我们保留每个 token，并沿“特征”轴以更低成本存储它们。因此，我们提出 AttSVD，一种新的“可解释”低秩压缩方法，其基底源自每个提示自身的注意力几何结构：通过在线、按提示执行的截断 SVD，仅保留注意力实际读取的方向，使持久化的每头 KV 内存占用与保留秩成比例地降低。我们针对短生成和长生成场景，提出了两种解码时缓存策略：累积式和流式。此外，我们提出了两项改进，使压缩具备自适应性。逐矩阵能量规则分别确定 logit 空间和注意力质量的大小。注意力感知基底仅在注意力实际读取的空间中进行截断，同时保留注意力 logits 和注意力输出。同一组因子还可免费提供每个注意力头的可解释性洞见，包括有效秩以及注意力所利用的几何结构。在多个模型上，无论是在一个智能体基准测试中还是在完整的 LongBench 套件上，AttSVD 的表现都与稠密缓存相当，同时最多仅使用 KV 缓存 50% 的内存。