Muon 何时以及如何进行预条件？结构化梯度噪声的作用

arXiv:2610.31728v1 公告类型：新 摘要：Muon 已成为大型语言模型训练中广受欢迎的优化器，但其理论基础仍未得到充分理解。在本文中，我们研究梯度噪声的几何结构如何影响 Muon 的预条件收益。我们首先从理论和实证两方面表明，在经典的各向同性噪声假设下，除学习率缩放外，Muon 并不能带来额外的加速。这促使我们研究由具有异质任务频率的联想记忆中的小批量采样所产生的结构化噪声。我们为两个任务建立了精确的平衡阈值，并将分析扩展到多个任务，揭示任务覆盖率和梯度可靠性如何共同影响学习。我们的分析表明，Muon 能将对任务频率的依赖从线性关系弱化为平方根关系，有助于平衡高频任务与低频任务的学习。我们进一步发现了 SignSGD 中由旋转引起的负迁移现象，而 Muon 可以避免该现象；同时解释了动量如何在跟踪变化梯度的同时降低采样噪声。受控数值实验验证了这些机制，初步的 LLM 预训练研究也展示了快慢动量的应用潜力。