Transformer中的精确解体积与长度泛化

arXiv:2610.07676v1 公告类型：新 摘要：关于Transformer表达能力的研究表明，Transformer是否能够解决给定任务，但很少说明其解一旦学会后，能否泛化到更长的输入长度。我们通过归一化精确解体积（NESV）研究这一问题：在有界参数区域中，对长度为 $n$ 的每个输入都能实现精确解的参数所占比例。对于采用 $\log n$ 缩放注意力机制的固定宽度单层Transformer，我们为四项任务建立了NESV的渐近界：FIRST（$\Theta(1)$）、MAJORITY（$\Theta(1/(n\log n))$）、INDEX（$\Theta(1/n^3)$）和PARITY（$0$）。这些结果与以往的实证结果一致：精确解体积随输入长度衰减得越快，在该任务上进行长度泛化就越困难。深入考察INDEX后，我们的体积分析揭示了两个随 $n$ 增长的误差源。因此，我们研究了一种在结构上能够消除其中一个误差项的Transformer模型，从理论上将NESV界改进为 $\Theta(n^{-1})$；在训练长度10倍的测试条件下，该模型实测准确率达到85%，而原始模型的准确率为60%。我们得出结论：体积分析可能是一种有用的方法，可以识别长度敏感性的具体来源，从而为针对特定任务的模型改进提供洞见。