ReLU神经网络对光滑函数的最优逼近

arXiv:2610.22693v1 公告类型：cross 摘要：我们研究全连接 ReLU 网络对 Hölder 球 $\mathcal H_1^s([0,1]^D)$ 的一致逼近。除一维 Lipschitz 情形外，现有构造与信息论效率极限之间仍存在差距。本文对所有 $s>0$ 和 $D\ge1$ 弥合了这一差距：宽度为 $O(N)$、深度为 $O(L)$ 且参数幅度为 $O(1)$ 的网络，可以达到阶为 $(N^2L^2\log N)^{-s/D}$ 的一致逼近误差。宽度与深度之间无需满足任何关系。该构造采用了新的编码和解码机制，利用目标函数局部 Taylor 系数的高阶有限差分界。作为统计学上的推论，相应截断网络类上的经验风险最小化器能够达到极小极大回归速率 $n^{-2s/(2s+D)}$，且不引入额外的对数因子。本文还详细阐述了关键的逼近技术，涵盖已有机制和新机制。