深度神经网络混沌边缘的有限宽度偏移

arXiv:2611.06582v1 公告类型：交叉收录 摘要：深度神经网络在初始化于混沌边缘时训练效果最佳。混沌边缘是权重方差与偏置方差平面上的一条临界线，在这条线上，两个输入之间的距离既不随深度增加而增大，也不随之缩小。无限宽网络的这条临界线已为人所知；在有限宽度下，它会发生移动，而其移动方式一直存在争议。我们将两个输入在宽度为 $N$ 的网络中传播时的距离对数视为随机游走，并将其漂移和方差计算至 $1/N$ 阶。混沌边缘向更大的权重方差方向移动，偏移量为 $\Delta\sigma_w^2=-a_1/(N\,\partial_{\sigma_w^2}\ln\chi_1)$；对于偏置方差为 $0.05$ 的 $\tanh$ 网络，偏移量约为 $8/N$，这一结果得到了精确有限宽度递推的仿真验证。该偏移描述的是典型网络；对大量网络取平均时，结果则由距离增大的罕见网络主导，其临界点向相反方向移动，这解释了为何计算与仿真结果一直不一致。反向传播遵循相同的随机游走，因此该偏移同样适用于梯度，无需修改。沿着混沌边缘，关于两个输入相似性的信息保持不变，直到沿深度累积的压缩量超过约一个奈特，这就确定了应选择临界线上的哪个位置。这些结果给出了一种初始化规则 Crinit，无需搜索即可将网络置于其有限宽度的混沌边缘。在 MNIST 和 Fashion-MNIST 上，当宽度为 $64$ 时，该规则的准确率优于采用常用设置的标准规则：在浅层网络中优势较小，而在大多数标准规则失效的深层网络中优势显著；它所需的训练步数更少，且表现达到或超过了经过增益调优的标准规则。