巨大激活的生命周期：随机诞生、由权重衰减驱动的增长与竞争性整合

arXiv:2610.00423v1 公告类型：新 摘要：巨大激活是指幅度远大于典型激活的残差流坐标，它们与 transformer 中的注意力汇相关联，但训练过程中其尺度如何受到调节，仍未得到充分理解。通过结合训练轨迹分析与受控干预，我们追踪了它们的出现、增长与整合过程。承载汇的通道会随随机种子而变化，但在每次运行中都会较早稳定下来。在更长时间的训练中，周围通道逐渐衰减，注意力汇集中到少数几个冗余载体上。在各项消融实验中，梯度衰减取决于汇 token 的集体均方根幅度，而非任何单个通道，这表明集体尺度是理解其影响的关键。我们的核心结论是，权重衰减会因果性地控制全局激活尺度的变化。在受控延续训练中，在峰值附近移除衰减会使该尺度继续上升，而保留衰减则会导致其下降，即使学习率保持不变。我们建立了一个描述巨大激活幅度上升与达到峰值的平衡模型，其中经过 AdamW 预条件化的增长与权重衰减相抗衡。对衰减系数 $\lambda$ 进行扫描后发现，峰值出现时间近似按对数线性关系移动，峰值幅度则近似按 $\lambda^{-1/2}$ 缩放，这与该平衡关系一致。对优化器的测量进一步表明，即使原始维持力过小而无法抵消衰减，预条件化仍能使大通道群体抵抗衰减。综上，这些发现将所观察到的生命周期与调节尺度的训练动态联系起来，并确立了权重衰减作为训练期间调控激活幅度的手段。