Muon 更擅长学习事实：理解谱正交化的作用

arXiv:2610.02798v1 公告类型：新 摘要：Muon 优化器对矩阵值更新应用谱正交化，并已在大规模神经网络训练中展现出优异性能，但这一变换在特征学习中的作用机制仍缺乏充分理解。在本文中，我们通过一个易于分析的事实回忆模型研究这一问题：在该模型中，每个事实将主体—关系对映射到一个答案，而线性 transformer 学习恢复这一映射所需的、依赖于主体和关系的信息。该 transformer 采用梯度流（GF）、谱 GF 或 Sign GF 进行优化，它们分别是梯度下降、Muon 和 Adam 的连续时间极限。已有研究（Nichani 等，2025）表明，当主体数量超过关系数量时，GF 会先学习依赖于关系的信息，再学习依赖于主体的信息，从而在训练过程中产生一个特征分离阶段。我们通过主体相关成分和关系相关成分的预测达到目标准确率所需的学习时间，刻画这种分离现象。设有 $S$ 个主体和 $R$ 个关系，GF 的学习时间比为 $\widetilde{\Theta}(\sqrt{S/R})$，而谱 GF 可将该比值降至 $\widetilde{\Theta}(1)$。此外，在固定 $S$ 和 $R$ 的情况下，采用 GF 时，主体相关误差和关系相关误差随训练时间 $T$ 以 $1/(T\log T)$ 的速率衰减；而采用谱 GF 时，则以 $\exp(-\mathrm{poly}(T))$ 的速率衰减。最后，我们证明 GF 和谱 GF 在 token embedding 的正交变换下具有等变性，而 Sign GF 则不具备这一性质：不同的正交归一化 embedding 可能导致不存在特征分离、出现较大的特征分离阶段，甚至导致学习顺序反转。这些结果从机制层面揭示了谱正交化如何从根本上重塑特征学习动力学。