Neural Expansion：深度神经网络如何实现泛化的统一机制

尽管深度神经网络具有高度过参数化的特征，但仍展现出非凡的泛化能力，这对传统统计学习理论提出了挑战。尽管基于间隔的界、PAC-Bayesian 分析和神经切线核等多种理论范式能够提供全局性解释，但它们往往缺乏对泛化如何从训练动态中产生的机制性洞见。我们提出 Neural Expansion，这是一种统一的几何框架，通过刻画输入空间中方向选择性射线覆盖范围的扩展来描述泛化。借助泛化区间（Generalization Intervals，GIs），我们量化了训练样本周围、模型预测保持稳定的特定方向区域。在多种架构和数据集上开展的大量实证研究表明，训练会促使射线覆盖范围逐步扩展，尤其是在 Jacobian 奇异值较小的方向上。该机制有助于通过射线覆盖的几何结构，而非实例级记忆，解释大量被正确分类的测试输入、对抗样本，甚至错误标注样本或分布外样本。通过将输入空间曲率与预测行为联系起来，我们的框架为深度学习现有的全局理论提供了机制性基础和补充。