Transformer中离散时间自注意力动力学的渐近分析
Asymptotic Analysis of Discrete-Time Self-Attention Dynamics in Transformers
精选理由
揭示离散自注意力的收敛与稳定机制，帮助理解Transformer的内部演化。
AI 摘要
arXiv:2610.13518v1 公告类型：cross 摘要：在机器学习中，自注意力动力学描述了transformer的注意力机制，其处理方式是将transformer的层索引视为时间索引。尽管这一动力系统天然是离散时间的，但人们通常在连续时间框架下对其进行研究。本文旨在对自注意力动力学的离散时间版本进行全面研究：完整分类其平衡点，并研究这些平衡点的稳定性特征，涵盖单头和多头两种情况。我们证明，在这两种情况下，动力学的主要吸引子都是与值矩阵的主特征向量对齐的共识平衡点（在单头情况下为值矩阵，在多头情况下为相应的权重矩阵），尽管至少在单头情况下，还可以证明存在其他局部渐近稳定的二分图平衡点。通过考察一个真实transformer学习到的权重矩阵，我们验证了这一行为。