平坦损失，演化特征：模加法中的顿悟现象

arXiv:2610.22593v1 公告类型：new 摘要：网络能否在训练交叉熵保持在一个正值水平、几乎不变的同时继续学习？我们证明这是可能的。在模加法这一顿悟现象的标准测试平台上，使用 supported-Polar 隐藏层更新、归一化输出层更新和权重衰减训练的 ReLU 网络，可以在训练准确率保持 100% 的同时，其隐藏特征持续变化，留出集准确率从零上升到 90% 以上，而训练交叉熵相对平坦。正确分类未必需要最小化交叉熵，因为交叉熵仍取决于预测置信度。对于单隐藏层网络，我们从构造的初始化出发，通过两个有限窗口定理证明了这种共存现象：其中一个定理使隐藏特征的 Fourier fraction 获得固定增益；另一个定理适用于任意低的正损失，此时，在训练数据上重新拟合的读出层会先于网络实现泛化。随机初始化实验显示，在预先固定的窗口内也存在同样的共存现象；在更深的网络中，留出集准确率还会在事后选定的窗口内上升，同时训练交叉熵净增。对于每个训练比例分别设置最后一层的学习率，并将头部衰减按素数缩放后，p=47 和 61 的更深网络在事后选定且预先固定的窗口上，几乎所有新的运行都满足相应判据。使用相同更新方式、输出增益缓慢衰减的单块 transformer，在每个记录的检查点都能保持所有训练样本对分类正确，同时其训练交叉熵上升，留出集准确率趋近于 1；对于双块模型，这一现象会持续到留出集准确率上升结束，之后训练样本对才开始发生分类翻转。训练损失的停滞未必意味着学习停滞。代码：https://github.com/akashkumar-d/flat-loss-evolving-features】【。