Softmax 与交叉熵的修复方法

arXiv:2610.31642v1 公告类型：新稿 摘要：softmax、log-softmax 和交叉熵的标准实现存在两个数值错误。第一个错误是 Softmax 崩塌：当目标 logit 远大于其他 logit 时，其梯度会被舍入为零，导致梯度之和不再为零。第二个错误是 Softmax 相消：当学生模型的 logits 接近教师模型的 logits 时会出现此问题，即使两者的 logits 完全相等，也会产生非零梯度。我们提出了 log-softmax、softmax 和交叉熵的简单实现，修复了这两个错误。我们的修复方法消除了此前观察到的“弹弓”现象，加快了使用权重衰减时的顿悟式泛化，防止了不使用权重衰减时的准确率崩塌，阻止了蒸馏过程中学生网络偏离教师网络，并表明在记忆完成后，logit 的增长受权重衰减与 Adam 的 $\epsilon$ 超参数之间的平衡所限制。