将 Transformer 理论付诸检验

arXiv:2610.32104v1 发布类型：new 摘要：人们已经提出了若干形式化理论，用于刻画 Transformer 架构的能力与局限性；这些理论采用了不同的抽象方式，捕捉架构的不同特征。由于其底层假设和概念框架存在差异，这些理论对于 Transformer 容易或难以完成哪些任务，可能会给出相互矛盾的预测。我们梳理了七种关于 Transformer 能力的理论（Star-free、$\mathsf{AC}^0$、$\mathsf{TC}^0$、C-RASP、MPC、BAPO 和 Sensitivity），并将它们的结果转化为一个统一的预测矩阵，涵盖一组具有不同计算结构的任务。我们给出了新的理论结果，以补全这一矩阵。随后，我们通过受控实验评估理论预测，测量分布内样本复杂度、长度泛化能力以及预训练语言模型的性能。我们发现，没有任何单一理论能够解释所观察到的成功与失败模式。当某一理论未能捕捉与任务相关的 Transformer 行为时，其预测就会失效；例如，C-RASP 由于没有对内容依赖的注意力进行建模，预测 $k$-hop induction 任务较难，但我们训练的小型 Transformer 在该任务上实现了长度泛化。类似地，假设硬注意力的理论（如 $\mathsf{AC}^0$ 和 BAPO）预测二进制多数任务较难，而我们在实践中也发现该任务能够成功完成。总体而言，我们的结果指出，Transformer 理论必须捕捉若干具体特征：软注意力而非硬注意力、动态的内容依赖检索、每个位置上的有界计算、对可学习性和归纳偏置的解释，以及上界与下界的结合。