Muon 在理论上不适用于卷积，但在实践中有效

arXiv:2610.07103v1 公告类型：新稿 摘要：Muon 是一种以高效著称的优化器，对于矩阵值更新具有清晰的解释，但卷积核以四维张量的形式存储。标准实现会将这些张量重塑为矩阵，这种便捷做法破坏了 Muon 背后的理论理解。为研究这一问题，我们直接在卷积算子几何中形式化相应的优化目标，并引入 Convolutional Newton-Schulz（Conv-NS），该方法在保留卷积核支持范围的同时，近似该几何中的极分解因子。在快速训练实验中，Conv-NS 和基于重塑的 Muon 均具有较高的计算效率，并且在 CIFAR-10 和 ImageNet 分类任务上取得了相当的准确率。然而，正如预期那样，在理论上更一致的 Conv-NS 应当优于基于重塑的 Muon，因此我们研究了实践与理论理解之间的不一致，并提出假设：精确的卷积正交化可能会对更新施加过强约束。这些发现凸显了 Muon 出色的实际性能，同时也为其在卷积领域的进一步发展提供了方向。我们的代码已通过 \href{https://github.com/thib-s/muonconv-cifar10-airbench}{github conv-muon} 公开。