用于注意力机制上下文压缩的核插值方法

arXiv:2610.40943v1 公告类型：新投稿 摘要：注意力机制是现代语言模型的基本构建模块，其瓶颈在于计算复杂度随上下文大小呈二次增长。因此，上下文压缩（也称为 KV 缓存压缩）日益受到关注。本文首先在与注意力机制的核相关联的 Hilbert 空间中对上下文压缩问题进行形式化表述，进而研究这一问题。在该形式化框架中，注意力可表示为两个线性映射的比值，其插值结果也可表示为相应插值结果的比值，因此我们可以直接考虑对这些线性映射进行插值。由此，我们提出了两种新的 KV 缓存压缩方法，分别称为 GAIM 和 Q-DAIM，它们分别基于广义经验插值法（GEIM）和 Q-离散经验插值法（Q-DEIM）。由于这些方法的计算成本随上下文长度呈二次增长，我们提出了基于 Taylor 级数、Performer 和随机 Fourier 特征方法的代理模型，使压缩能够在线性时间内完成。最后，我们将这一结果扩展至流式注意力场景，提出了新的方法，可根据先前已插值的上下文对插值节点的选择施加惩罚，并根据新信息更新先前的插值。随后，我们给出了关于残差收敛性和后续查询输出误差的数值结果，以及在 LongBench-E 基准上的初步结果，表明其性能可与当前最先进的方法相媲美。这些实验表明，我们的 Q-DAIM 方法所揭示的值域可能有助于识别 KV 缓存中信息集中的位置，从而实现高效压缩。