双重下降是收缩而非过拟合的数学理论：路径正则化多层神经网络的匹配界

arXiv:2503.02129v4 公告类型：替换 摘要：我们针对采用路径正则化训练的多层全连接神经网络，提出了一套非渐近泛化理论，适用于一般的 Lipschitz 损失，且不假设损失有界、架构稀疏，也不对宽度或深度施加任何限制。我们显式建模了逼近误差，并在此过程中解决了 E 等人提出的关于广义 Barron 空间中逼近速率的一个开放问题。我们分别处理欠参数化和过参数化情形，正是这种处理方式使所得曲线能够随宽度呈非单调变化。随后，我们证明了误差本身的下界，该下界对每个目标和每个局部极小点均成立，并将其与上界结合，得到一个定理：随着宽度增大，误差本身——而不仅仅是我们给出的误差界——先下降、再上升、然后再次下降，且峰值与最终平台值之比随样本量增大而发散。同时获得上下界也揭示了上升的驱动因素，而这一因素并非过拟合：一旦正则化强度超过噪声的对偶范数（规定的正则化方案在每个宽度下都满足这一条件），一个慢速率预言不等式便可在完全不含方差项的情况下控制误差。误差上升实际上源于欠参数化情形所需的正则化导致的收缩；我们证明，在该理论的保证成立的前提下，任何与宽度无关的正则化都无法消除这种上升。这一机制是本文所分析估计量的性质；我们并不声称它能够解释无正则化训练中所报告的双重下降现象。