Muon类谱优化器在强凸二次函数上的固定步长

arXiv:2610.27747v1 发布类型：new 摘要：Muon及相关优化器利用经过谱变换的梯度更新权重矩阵。在本文中，我们研究这类谱优化器在强凸矩阵二次函数上采用固定步长时的表现，从而单独考察更新本身的影响，排除非凸性、噪声和步长调度等因素的干扰。我们使用两个量来分析该更新：增益，即它沿每个奇异方向放大梯度的倍数；以及长度，即更新量的范数。这两个量将常见的谱更新分为具有不同表现的三个区域：(i) 当增益有界时，迭代过程表现得类似预条件梯度下降，并且当步长由最大曲率决定时收敛；(ii) 当增益无界但长度趋于零时，迭代过程仍会收敛，不过可接受的步长由总曲率决定；(iii) 当长度不趋于零时，对于几乎所有初始化，迭代过程都不会收敛。有趣的是，Muon的实际变体涵盖了这三个区域，其所属区域仅取决于更新的归一化和缩放方式，而与用于逼近极因子的多项式无关。实验验证了这些发现。