通过正交化动量进行非光滑优化

arXiv:2609.13677v2 公告类型：replace-cross 摘要：现代实际应用问题涉及矩阵值参数，但传统优化器将其视为向量，这促使人们开发利用输入—输出几何结构的矩阵感知方法，例如在参数更新前对动量矩阵进行正交化的 Muon。它在实践中的成功引出了一个概念性问题：正交化动量在非光滑优化中能否依然有效？本文使用与反向传播兼容的广义导数框架，针对局部 Lipschitz 函数研究这一问题。我们的第一项贡献是揭示了一个关键局限：对于任意固定的动量因子 $\beta\in[0,1)$，当步长根据完整的梯度历史自适应调整时，Muon 从几乎所有初始化出发都可能无法趋近某个凸 Lipschitz 目标函数的全局最优解。即使迭代序列有界，也可能出现这种失败。我们的例子受到 Parshakova 等人的例子的启发，而后者仅涵盖 $\beta\in[0,\frac{1}{2})$。随后，我们证明，障碍在于固定动量，而非正交化。事实上，当动量因子自适应调整并趋近于 1，同时步长趋于零时，在有界性和正则性条件下，Muon 可恢复在非凸非光滑优化中的渐近收敛性。此外，我们提出了 MAGD，它将正交化动量与梯度相结合，并根据二者的相对进展进行加权。MAGD 在非凸情形下保持渐近收敛性，并在凸情形下达到 $O(\min\{m,n\}\epsilon^{-2})$ 的收敛速率。一个下界证明了其维度依赖关系的最优性。在合成问题、图像分类和 LLM 预训练上的实验表明，MAGD 是一种简单实用的 Muon 替代方案。总体而言，我们的结果刻画了缺乏光滑性时正交化动量何时会失效，以及如何使其变得可靠；我们希望这些分析能在更广泛的情形下发挥作用。