记得遗忘：门控自适应位置编码

arXiv:2605.10414v2 公告类型：替换 摘要：旋转位置编码（RoPE）广泛应用于现代大型语言模型。然而，当序列长度超出训练期间见过的范围时，旋转相位可能进入分布外区域，从而导致虚假的远程对齐、注意力分散以及检索性能下降。现有的解决方案只能部分缓解这些问题，因为它们通常需要以牺牲局部位置分辨率为代价来换取长上下文稳定性。我们提出 GAPE（门控自适应位置编码），这是一种可直接替换使用的位置编码增强方法，在保留旋转几何结构的同时，将内容感知偏置直接引入注意力 logits。GAPE 通过一个依赖查询的门控机制压缩无关上下文，并通过一个依赖键的门控机制保留重要的远距离 token，从而将基于距离的抑制与 token 重要性解耦。我们证明，受到较弱保护的远距离上下文会随着查询门控值的变化呈指数衰减，而被选中的键则可通过地标保护继续保持可访问性。我们进一步证明，GAPE 可以在标准缩放点积注意力中实现。在受控检索和语言建模实验中，GAPE 在长上下文场景下表现出更强的鲁棒性，并可外推至训练长度的 8 倍。我们还将 GAPE 改造并应用于一个预训练的 7B 模型，在标准基准测试中保持了原有性能，并在评估的最长上下文长度下取得了更好的表现。这些结果表明，自适应上下文抑制可以作为位置表示的补充，促进长上下文泛化。