OpenAttention：借助尾部代理，百分之一已足够

arXiv:2610.30951v1 公告类型：新提交 摘要：稀疏注意力仅读取键值缓存中的一小部分，而如何处理未读取的尾部仍是一项关键挑战。丢弃尾部会使输出产生偏差，而像以往方法那样对其进行采样，在读取比例为 5% 及以下时会失效，因为尾部很可能包含选择器遗漏的高权重项。我们的关键观察是：即使采用最简单的代理，即用一个词元将整个尾部汇总为考虑数量的均值，在实际选择器选定读取项后，各种读取比例下的输出误差都已低于采样方法。我们进一步通过闭式表达式证明，在低读取比例下，采样的权重误差接近丢弃尾部的两倍，而单个代理的误差始终低于丢弃尾部。在这些发现的基础上，我们探索使用少量针对尾部的代理来近似稠密注意力分布。我们提出 OpenAttention，其处理流程依次包括聚类、ErrorGate 和 top-k 选择，随后使用考虑数量的均值代理。为高效且有效地实现聚类与选择，我们设计了无需训练的 Query-Geometry Clustering（QGC）和 Query-Geometry Selector（QGS），在压缩键的同时兼顾查询方向。此外，与以往仅根据质心对簇进行排序的方法不同，ErrorGate 根据每个簇的估计权重误差来分配精确读取量。在使用 Llama-3.1-8B 的 RULER-32K HARD 测试中，OpenAttention 仅以 1% 的读取比例便保留了稠密注意力准确率的 99%。它还在不同模型、上下文长度和数据集上实现了最先进的准确率。我们定制的注意力内核 OpenAttention.flash 在 1% 的读取比例下，使解码阶段的注意力计算速度达到稠密注意力的 10 倍。