Mamba 动力学中的首词元吸引

我们研究深层 Mamba 模型中的词元动力学，重点关注首词元的吸引作用。与词元间相互作用由正标量系数控制的注意力机制不同，Mamba 动力学涉及完整的矩阵值相互作用系数，且无法保证其正性或定性。这种结构差异使 Mamba 动力学的分析显著更加困难，也使现有针对注意力模型的技术无法直接应用。为应对这一挑战，我们提出了一种新的分析框架，将高维不变盒与精确的退出时间论证相结合，从而恢复一种有效的符号确定性。利用这一框架，我们刻画了词元轨迹可能的极限点，并证明了显式的指数收敛速率。我们的分析表明，首词元具有特殊的动力学地位：其极限方向会吸引后续词元，从而在深层 Mamba 模型中引发词元聚类和注意力汇聚现象。我们进一步表明，这种吸引机制可推广至更广泛的序列动力学，包括状态空间模型、因果注意力和经典时间序列模型。在 Falcon-Mamba-7B 上的实验验证了我们的预测，表明向首词元的集中程度随深度增加而增强，并在后面的层中占据主导地位。