Transformer中的各向异性表征动力学

arXiv:2610.23242v1 公告类型：新 摘要：内部表征之间的微小差异在经过 Transformer 层时可能会缩小或增大，从而影响信息的 պահպան留以及模型对扰动的敏感性。然而，注意力权重的变化何时会将原本会缩小的表征差异转变为增大，仍不清楚。我们提出一种\textbf{各向异性表征动力学的混合门控理论}，将自注意力分解为值传输、查询门控和键门控。我们的分析揭示了被关注表征的几何结构如何约束门控，以及这些机制之间的交互如何逆转由值传输导致的收缩。我们将这一现象形式化为门控诱导的状态切换：在固定注意力路由下，表征差异发生收缩；而在完整注意力作用下则发生扩张。我们推导出一个充要谱判据，用于判定是否存在状态切换，并在无需穷举搜索的情况下识别发生切换的方向。除判定切换是否存在外，我们的理论还刻画了最大相对切换强度，评估门控能够克服的收缩严重程度上限，并确定一个子空间的最大维度，使得其中每个非零方向都会发生切换。在四种 Transformer 架构上的实验通过解析比较和有限前向传播比较验证了这些预测，揭示了彼此独立且协同作用的查询--键门控机制，以及非平凡的切换子空间。我们的结果从机制和谱的角度阐明了注意力路由如何改变局部表征动力学。