Muon 何时最优？径向脆弱性与极小极大几何

Muon 用近似极分解因子替代矩阵梯度，并在神经网络训练中展现出强劲的实证表现。Isotropic Curvature Model（ICM）通过探究梯度正交化何时能最小化单步局部损失代理函数，为这一更新提供了基于曲率的解释。我们研究了当 ICM 中的固定输入半径被一般径向分布替代时，这一解释的稳定性。我们引入了 Random-Radius Isotropic Curvature Model（RR-ICM）和极分解因子容许集，后者将精确的缩放极分解因子最优性刻画为梯度的正半定极分解因子所满足的几何条件。我们推导了任意径向分布下该集合的精确刻画，并证明所有非标量容许响应均源于与曲率折点对齐的径向原子。因此，每一种无原子径向分布都表现出零容量刚性：只有当梯度本身已是缩放的列等距矩阵时，才可能实现精确的缩放极分解因子最优性。为将基于曲率的框架与 Muon 已有的谱几何联系起来，我们引入 Minimax RR-ICM，用针对球面上概率分布的最坏情形优化替代方向平均。我们证明，每个非零全局极小点都位于梯度的极分解射线上，而其尺度由一个一维凸问题决定。相应的容许性几何是一个正半定迹板层，与 RR-ICM 的球面带状体几何形成鲜明对比。总体而言，这些结果揭示了平均曲率解释的径向脆弱性，并为 Muon 的极分解方向提供了一种新的极小极大变分刻画。