“深度提升”：即使使用最愚蠢的优化器，神经网络也能实现泛化

arXiv:2610.23009v1 公告类型：new 摘要：给定一个带标签的数据集 $\{(x_i, y_i)\}_{i = 1}^n$，考虑从这样一组参数向量中均匀随机抽取 $\hat{\theta}$：它们属于一个宽度为 $W$、深度为 $D$ 的 ReLU 架构，权重为连续值且限制在 $[-M, M]$ 内，并且能够对数据实现插值。我们研究 $\hat{\theta}$ 的泛化性质，具体情形是：该数据集实际上可以由一个规模更小的、宽度为 $w$、深度为 $d$ 的 ReLU 网络解释。尽管 $\hat{\theta}$ 的选择规则毫不考虑数据结构，它仍能以 $\tilde O\left(\frac{wdWD}{n}\right)$ 的速率自适应地实现泛化，而不是受完整 $W$×$D$ 假设类的 VC 维数支配。其原因在于 ReLU 网络中存在一种特定的归纳偏置：宽度为 $w$、深度为 $d$ 的参数“见证”了数量呈指数级增长的宽度为 $W$、深度为 $D$ 的插值参数，这一体积远远超过了泛化能力较差的参数的体积（以满足插值为条件）。我们通过一种称为“深度提升”的证明技术，明确构造出这组近似等价的 $W$×$D$ 参数，随后将其可实现的体积与 $w$×$d$ 见证的稳定性性质联系起来。示例表明，这些技术使我们能够将逼近理论结果转化为非参数类的泛化保证。我们进一步证明，均匀随机插值器的泛化能力可以经受标签污染。