Transformers 学会了两种相互竞争的排序算法，但只有一种能泛化到更长序列

arXiv:2610.26974v1 公告类型：新 摘要：我们展示了，在排序任务上训练至损失接近于零的双层 Transformers，会根据其初始化方式收敛到两类机制上不同的解。其中一类解不使用第二个注意力层进行排序，同时也无法泛化到更长序列。另一类解同时使用两个注意力层，尽管训练时只对固定长度的序列进行排序，却能够完美地泛化到更长序列。通过精心选择权重初始化方式，我们证明可以引导模型学习其中一种解。我们发现，在训练长度下较为罕见、但在更长序列中出现频率不断增加的输入类型，是造成这种长度泛化差异的一个来源；并且发现，第二类解的逐层专门化使其能够更准确地处理这些罕见序列。在第二类解中，我们发现了一种机制：第二层注意力可以利用第一层注意力收集到的上下文信息来缩小其搜索空间。在相关的序列最小值查找任务中，我们发现了类似的两类解现象，但泛化模式相反：不同形式的逐层专门化导致双层解在长度泛化方面反而不如单注意力解。