顿悟还是故障？低精度如何驱动 Slingshot 损失尖峰

arXiv:2605.06152v4 公告类型：替换 摘要：深度神经网络在未经正则化的长期训练过程中会出现周期性的损失尖峰，这一现象被称为“Slingshot Mechanism”。现有研究通常将其归因于内在的优化动力学，但其触发机制仍不明确。本文证明，该现象源于浮点运算的精度限制。当训练进入高置信度阶段时，正确类别与其他类别之间的 logit 差异可能超过吸收误差阈值。此时在反向传播过程中，正确类别的梯度会被精确舍入为零，而错误类别的梯度仍保持非零状态。这破坏了跨类别梯度的零和约束，并在分类器层的参数更新中引入系统性漂移。我们证明，这种漂移会与特征形成正反馈回路，导致全局分类器均值和全局特征均值呈指数增长。我们将这一机制称为数值特征膨胀（Numerical Feature Inflation，NFI）。该机制解释了 Slingshot 尖峰出现前范数的快速增长、梯度随后重新出现的现象，以及由此产生的损失尖峰。我们进一步表明，NFI 并不等同于观测到的损失尖峰：在更实际的任务中，部分吸收可能不会产生可见的尖峰，但仍可能破坏零和约束，并推动参数范数快速增长。我们的结果将 Slingshot 重新解释为有限精度训练中的一种数值动力学，并为训练后期异常的参数增长和 logit 发散提供了可检验的解释。