为什么 Graph Transformers 不关注同一个词元？

arXiv:2610.19324v1 公告类型：新论文 摘要：在大语言模型（LLMs）中，注意力高度集中于第一个词元。这种“注意力汇聚”被认为能够保护深层模型免受过度混合的影响。尽管图 Transformer 面临类似的压力，我们发现，最先进的图 Transformer 模型 GRIT 在分子图上很少形成注意力汇聚，而且在更大的图上训练时，汇聚反而更少，这与 LLMs 中的趋势相反。原则上，图本身可以阻止注意力汇聚：我们通过证明和实证表明，图的对称性和局部性限制了任一节点所能获得的注意力。然而，在原子可区分且采用全局注意力的分子图上，这两种限制都无法阻止注意力汇聚；真正阻止汇聚的因素在于模型本身。我们发现，注意力评分函数是主要原因。在相同的图上，将 GRIT 的门控 logit 替换为点积，会使其注意力汇聚率从 0.09 升至 0.68。在使用点积注意力的 Graph Transformers 中，移除注意力汇聚节点所造成的误差与移除随机节点大致相同，而 GRIT 中获得最多注意力的节点则对其预测至关重要。因此，注意力汇聚是点积注意力的特性，而非 Transformers 的特性。在我们的实验中，当存在一个可区分的节点供点积评分集中注意力时，就会形成注意力汇聚。