ValueDiff：面向注意力汇聚受抑制 LLM 的基于值向量几何结构的 KV 缓存驱逐

arXiv:2609.23314v2 公告类型：替换 摘要：采用 QK 归一化、门控注意力、可学习注意力汇聚点或 logit 软截断的现代 LLM，其持续性注意力汇聚现象较弱，而现有 KV 缓存驱逐方法主要依赖这一现象。我们观察到，在这些模型中，较弱的注意力汇聚现象伴随着值向量相对于键向量更高的离散程度。受值向量侧这种离散性的启发，我们提出了 ValueDiff，这是一种基于值向量几何结构的驱逐方法，按照各 token 的值向量相对于缓存均值的 L2 偏差对 token 进行排序。在对未来注意力作最大熵假设的条件下，最小扰动驱逐也会导出相同的评分。我们在固定缓存预算下进行评估，在预填充期间的每个块边界以及生成期间的每个解码步骤执行驱逐。在 RULER 上，当 token 预算严格限制为 2k 时，ValueDiff 在七个注意力汇聚受抑制的模型上保留了完整缓存性能的 88–99%（在其中 6 个模型上表现最佳）。在 LongBench 上，当预算为 4k 时，ValueDiff 在注意力汇聚受抑制模型上的平均性能保留率为 92%，而此前最强基线为 83%。在 MATH-500 上，当缓存预算为 25% 时，ValueDiff 在所有受测的注意力汇聚受抑制模型上都是表现最强的非完整缓存方法，在门控注意力模型上比此前方法最多高出约 20 个百分点。在这三个基准测试中，对于注意力汇聚受抑制的模型，值向量几何结构均表现为更可靠的、与查询无关的驱逐信号。