从谱范数到 Frobenius 范数：Muon 何时失去其谱隐式偏置

arXiv:2610.20112v1 公告类型：新论文 摘要：关于隐式偏置的既有研究表明，在可线性分离问题上，梯度下降会选择 Frobenius 范数最大间隔方向，而 Fan 等人（2025）则证明，谱范数最速下降方法具有谱范数最大间隔行为，其中包括采用精确正交化的理想化 Muon。然而，在实践中，Muon 使用有限次 Newton-Schulz 迭代和一个正的稳定化常数来近似实现正交化。我们证明，在使用可分数据进行线性分类时，这些实现选择会使 Muon 选择 Frobenius 范数最大间隔方向，而非谱范数最大间隔方向。我们还证明，采用指数移动平均动量和 Nesterov 风格动量时，均存在这一行为。关键技术是可求和扰动论证，该论证表明，由此产生的参数轨迹与梯度下降的参数轨迹之间始终保持有界距离。随后，我们分别厘清 Newton-Schulz 迭代次数、稳定化常数和 Newton-Schulz 多项式的作用，揭示出不同的渐近行为，其中包括既未达到 Frobenius 范数最大间隔、也未达到谱范数最大间隔的方向。最后，我们表明，当 Newton-Schulz 迭代次数随训练进程按对数增长时，Muon 可以恢复其谱范数最大间隔偏置。