正交化如何适应神经网络 Hessian 结构？初始化时的梯度自外积分析

arXiv:2610.28975v1 公告类型：new 摘要：Muon 在每次更新前对权重矩阵的动量进行正交化；在神经网络上，这种简单的预条件器在广泛的任务中击败了 AdamW。现有分析要么在一般优化框架内解释 Muon，要么针对少数特定模型进行分析，其中许多工作将正交化视为一种预条件器。由于在损失函数的二次近似下，Hessian 是最优预条件器，因此这些工作留下了一个基本问题：是什么使得正交化适用于神经网络的 Hessian？已有工作表明，神经网络的逐层 Hessian 具有行块对角占优性，而 Muon 的隐式预条件器 $(\mathbf{V}\mathbf{V}^\top)^{1/2}\otimes\mathbf{I}$（其中 $\mathbf{V}$ 为动量）恰好在 $\mathbf{V}\mathbf{V}^\top$ 具有对角占优性时拥有相同的行块结构。语言模型中已经观察到 $\mathbf{V}\mathbf{V}^\top$ 的对角占优性，但神经网络为何会产生这种性质尚未得到解释。本文为初始化时的神经网络提供了一种定量的渐近理论，并指出其直觉在于：权重矩阵的过参数化促成了对角占优性。我们分析了四种典型模型中的 $\mathbb{E}[\mathbf{G}\mathbf{G}^\top]$；在初始化时，它等于 $\mathbb{E}[\mathbf{V}\mathbf{V}^\top]$：对称矩阵分解、深度线性网络、两层 ReLU 网络和单层线性注意力。在每种情况下，随着隐藏维度增大，对角元素都以明确的速率超过非对角元素；对于注意力中的 query、key 和 value 权重，非对角元素则完全消失。对这四种模型的模拟以及在初始化时对语言模型进行的实验，都验证了所预测的缩放规律。