平均场神经网络训练中非线性可观测量的涨落

arXiv:2610.09768v1 公告类型：新稿 摘要：平均场极限通过神经网络参数经验分布的演化来描述宽神经网络的训练动力学。尽管函数型中心极限定理刻画了该分布的渐近涨落，但实际关注的量通常是参数分布的非线性可观测量，而非分布本身。在本文中，我们展示了对于通过随机梯度下降训练的浅层神经网络，这些平均场涨落如何传播至有限维非线性可观测量。在构造极限涨落过程所用的加权 Sobolev 空间中，我们在通常的 Fréchet 可微性条件下应用函数型 Delta 方法，无需关于测度变量的 Lions 导数。我们得到了可观测量的中心极限定理，并在其微分具有适当表示的条件下，得到了由底层平均场涨落理论导出的显式协方差公式。我们还研究了能否从选定的观测中恢复指定的关注量。在常秩假设下，我们证明，一个关注量能够局部地通过观测泛函进行因子分解，当且仅当在整个邻域内，观测的微分的核包含于该关注量的微分的核。因此，直接在环境 Sobolev 空间中表述的一个微分条件，给出了精确的非线性局部因子分解。这些结果提供了一个框架，既可用于量化可观测且具有统计或物理意义的量的有限宽度不确定性，也可用于评估所选观测是否包含识别这些量所需的信息。