局部混合如何在全局 NoPE 注意力中编码相对位置

注意力操作从直观上看与位置无关。然而，位置信息是自然语言的基础，因此人们为基于 transformer 的模型开发了各种显式位置编码，例如旋转位置编码（RoPE）。尽管长期以来人们一直认为显式位置编码是必需的，但近期研究表明，在全局注意力层中不编码位置信息（NoPE），同时交替使用滑动窗口注意力（SWA）和门控线性注意力等局部混合层的方法，在大规模应用中取得了成功。这种方法为何有效、如何发挥作用，尚未得到充分理解。本文解释了这类混合模型如何在全局 NoPE 层中隐式编码位置信息。理论和实验证据均支持我们的核心论点：SWA 和门控线性注意力会在残差流中诱导出一种近因偏置，该偏置会传播至全局注意力 logits，并被后者选择。此外，与仅包含全局 NoPE 注意力的模型中发现的隐式位置编码不同——在那类模型中，位置信息完全源于因果掩码——混合模型中的近因偏置可以跨越长序列得到维持。除了加深我们对混合模型如何编码位置信息的理解之外，这些发现还可能为如何编码位置提供启示，使模型能够无限外推至更长的序列长度。