激活函数邻接层归一化：对逼近能力的影响

arXiv:2610.21527v1 公告类型：new 摘要：层归一化（LN）和均方根归一化（RMSNorm）依赖于输入，并且在推理阶段仍保持非线性。因此，将二者中的任一种插入激活函数附近，都可能改变网络所表示的函数。我们研究浅层激活归一化（AN）网络和预激活归一化（PN）网络在何种条件下能够逼近一个给定宽度为 $N$ 的单隐藏层 MLP。将 RMSNorm 视为依赖输入的缩放操作后，我们利用宽度扩增，在紧致特征集上对归一化进行局部线性化。对于 AN 网络，无界的激活函数值域允许使用宽度 $N+1$；而对于任意连续非恒定激活函数，使用宽度 $N+r$ 时，误差为 $O_f(r^{-1})$。对于 PN 网络，仿射参数，或者在没有仿射参数时具有一次正齐次性，都可以实现宽度 $N+1$；一般的连续激活函数则可以使用宽度 $N+r$，且误差趋于零。相应的 LN 构造采用中心化坐标对，分别得到宽度 $N+2$ 和 $N+2r$。我们证明，对于 RMSNorm，$N+1$；对于 LN，$N+2$，也是逼近所需宽度的最坏情况上界；并表明，适用于普通 MLP 的通用逼近定理同样可以推广到这些归一化架构。数值实验在全部五种设置下对两种归一化都复现了预测的逼近速率，并展示了平移 ReLU 的有限宽度障碍。