深度线性网络中神经坍缩的闭式深度—宽度定律

arXiv:2610.21820v1 公告类型：新 摘要：神经网络的深度和宽度如何塑造所学习的表征，通常只在训练完成后进行研究。我们表明，在一种易于处理的特征学习设定中，这种依赖关系可以通过闭式形式直接得到。我们利用神经坍缩作为表征几何的探针，将 NC1--NC3 直接表示为所学习特征核的函数，并将一个关于 NC1 的已知恒等式扩展到 NC2 的角度部分，以及岭回归读出下的 NC3。对于具有可交换类别结构的深度线性网络，由此得到的核方程给出了一条在该理论范围内精确成立的几何定律，用于描述类内变异随层数的演化。在宽度较大时，累积压缩量成为深度与宽度之比 $L/N$ 的函数，其变化速率由数据、先验和架构共同自洽地决定。数值实验支持所推导的深度、宽度和信噪比依赖关系。该结果是一条源自特征学习理论、而非在训练后拟合得到的表征层面缩放定律。