准确率低谷：初始化趋于零时的非单调准确率动态

arXiv:2610.20439v1 公告类型：新投稿 摘要：我们研究小初始化下的分类动态，并发现一种显著的准确率非单调行为，将其称为准确率低谷：准确率在训练初期迅速上升，随后下降，直到很久之后才恢复。我们在深层线性网络、MNIST 上的全连接 ReLU 网络、CIFAR-10 上的深层卷积网络以及受控合成任务中均观察到了这一现象，且该现象出现在不同损失函数和优化器下的训练准确率与测试准确率中。我们提出了一个三阶段解释，分别为目标驱动的组织化、退化瓶颈，以及后续的征用与恢复。我们针对浅层和深层线性网络中的这些动态建立了严格的理论，特别指出，当预测器和损失变化量仍在渐近意义下趋于零时，就可能出现较高的准确率，而继续优化反而会导致准确率下降。对于一个简单的合成分类任务，我们证明了一种极端情形：准确率渐近上升至 100%，骤降至 0，随后恢复至 100% 并永久保持。我们的结果表明，分类准确率能够揭示仅凭训练损失无法捕捉到的学习动态特征。