无传递的力：一种由深度诱发的秩坍塌，任何作用于表征的损失函数都无法重新打通

arXiv:2610.09958v1 公告类型：新增 摘要：训练可能会使 Transformer 陷入秩坍塌：所有 token 表征都指向同一个方向，学习随之停止。在一种相关的注意力坍塌中，带有有界校正力的损失项能够在训练过程中修复网络。我们考察这种项是否也能修复秩坍塌。我们通过削弱跳跃连接使小型 Transformer 发生坍塌，并对坍塌网络进行复制实验。没有任何额外的损失项能够修复这种坍塌，尽管作用更强的那一种施加的梯度约为任务梯度的十分之一。原因在于路径，而非强度。任务梯度不再到达查询权重和键权重，而这两者决定了注意力关注的位置；额外项的梯度则在到达坍塌形成的模块之前就已衰减。恢复跳跃连接虽然不改变任何权重，却立即重新打通了这条路径。随后秩得以恢复，但恢复发生在远高于坍塌尺度的位置。经过一阵高学习率训练后，这条路径保持畅通，秩也在未经处理的情况下恢复。预注册的关于该路径的预测能够对恢复时间进行排序，但无法迁移到这一成因上。在所有情况下，秩恢复后，损失仍高于健康网络的损失。一个发生坍塌的网络能否修复，取决于梯度是否仍能到达那些必须改变的权重，而不取决于损失项施加推力的强弱。