ValueDiff：用于注意力汇聚受抑制 LLM 的值几何 KV 缓存淘汰

具有 QK-normalization、gated attention、学习式 attention sinks 或 logit softcapping 的现代 LLM 表现出更弱的持久性 attention sinks，而现有 KV 缓存淘汰方法主要依赖于这些汇聚点。我们观察到，在这些模型中，更弱的汇聚点会与相对于 key 向量离散度更大的 value 向量离散度同时出现。受这种 value 侧离散性的启发，我们提出 ValueDiff，这是一种值几何淘汰方法，它根据 token 的 value 向量相对于缓存均值的 L2 偏差对 token 进行排序。在关于未来注意力的最大熵假设下，同一评分也可作为最小扰动淘汰准则推导得到。我们在固定缓存预算下进行评估：在预填充期间于每个块边界执行淘汰，在生成期间于每个解码步骤执行淘汰。在 RULER 上，在严格的 2k token 预算下，ValueDiff 在七个注意力汇聚受抑制模型上保留了 dense 性能的 88--99\%（在 7 个中有 6 个表现最佳）。在 LongBench 的 4k 预算下，ValueDiff 在注意力汇聚受抑制模型上的平均保留率为 92\%，而最强的既有基线为 83\%。在 MATH-500 上，在 25\% 缓存预算下，ValueDiff 在每个测试的注意力汇聚受抑制模型上都是最强的非 dense 方法，在 gated-attention 模型上相比既有方法最多提升约 $\sim$20 个百分点。跨越全部三个基准，值几何成为注意力汇聚受抑制模型更可靠的查询无关淘汰信号。