从二次函数视角审视 Muon 的极分解更新：优势、陷阱与 Newton-Schulz 的作用

arXiv:2610.30280v1 公告类型：新论文 摘要：Muon 沿近似正交化的方向更新矩阵值参数，训练大语言模型时通常比 AdamW 更快，但正交化何时以及为何有帮助，仍不明确。我们在矩阵二次函数上研究了 Muon 核心的正交化更新方法 PolarGD；在这类函数上，可以对优化器进行闭式分析。我们还在线搜索条件下比较更新方向，以排除学习率调节的影响。当梯度远非低秩，且其最大奇异值对应方向上的曲率较高时，正交化能够带来收益。只要误差矩阵的各行相互正交且范数相等，无论 Hessian 矩阵如何，PolarGD 都能一步到达极小点，而梯度下降则要求 Hessian 矩阵的所有特征值都相等；此外，与符号下降不同，PolarGD 不受问题旋转变换的影响。在多步迭代中，PolarGD 相当于以当前迭代矩阵进行预条件化的梯度下降，因此其速度取决于迭代矩阵而非 Hessian 矩阵的条件性。这既解释了快速收敛的情形，也解释了一种由迭代矩阵的极小奇异值导致的缓慢情形，在该情形下，PolarGD 远慢于梯度下降。最后，Muon 中使用的少量 Newton-Schulz 迭代会以类似梯度下降的方式处理这些极小奇异值，因此较少的迭代次数可能比精确正交化收敛得更快；在一个使用 Muon 训练的 transformer 中，注意力矩阵约四分之一的奇异值落在这一情形内。