灾难性过拟合是训练损失无法察觉的权重漂移
Catastrophic Overfitting is Weight Drift the Training Loss Cannot See
精选理由
揭示灾难性过拟合源于训练损失难以察觉的权重漂移，并用 EMA 回退以低成本稳定提升快速对抗训练的鲁棒性。
AI 摘要
arXiv:2611.06082v1 公告类型：新稿 摘要：快速对抗训练（FAT）通过用单步攻击替代多步攻击，使鲁棒训练的成本变得可承受，但它存在灾难性过拟合（CO）问题：在训练进行到中途时，模型对多步攻击的鲁棒性会骤降至接近零，而训练所用的单步攻击却仍能被抵御。我们表明，CO 是权重的一次悄然逃逸。在这一事件发生前后，网络在干净样本上的表现悄然改善，而权重从 CO 发生前的位置移动到发生后的位置，仅使训练目标发生微小变化，却破坏了绝大部分鲁棒性。因此，训练目标几乎无法察觉其自身造成的权重位移，也就不会产生将其逆转的作用力。FAT 训练流程中本就维护的权重指数移动平均（EMA）不会累积这种漂移，并在整个事件期间保持鲁棒性。这一观察提示了一种几乎不增加成本的修复方案：当验证集上的鲁棒性下降时，将权重重置为其 EMA。我们将这一防护机制构建于一种基于耦合的基础方法之上，该方法的设计使其权重平均值保持在鲁棒区域内。由此得到的训练方法在我们的每一次运行中都消除了 CO，并在全部三个基准数据集上取得了快速方法中最高的 AutoAttack 准确率，其中在 CIFAR-100 上优势尤为明显；在该数据集上，它还以约一半的成本超越了多步训练基准。代码见 https://github.com/fzjcdt/co-weight-drift。