Muon 何时真正胜出？一项成对的数据、时间与调优预算基准测试

arXiv:2610.21555v1 公告类型：新 摘要：Muon 在数据效率方面的优势促使人们在明确的数据、时间和调优预算下评估其性能。在单张 A100 GPU 上，我们针对参数量为 17.7M 和 33.6M 的因果语言模型以及参数量为 2.70M 的视觉 Transformer，对比了参考单设备 Muon 实现与 AdamW。一个包含 23 个候选配置的通用开发预算用于筛选配置，随后使用五个匹配的随机种子、完整的验证轨迹、优化器步进计时以及冻结的一次性测试进行评估。在相同数据量下，Muon 将验证损失曲线下面积降低了 3.25--22.44%，并在全部 20 个主要配对实验中降低了测试损失。在该配置下，Muon 在视觉任务上的时间归一化损失曲线下面积提升了 19.68--22.31%，而 AdamW 在语言任务上则优于 Muon 3.38--6.96%。完整的 Muon 优化器调用（包括辅助 AdamW 更新）占训练时间的 56.1--69.6%，而 AdamW 基线仅占 6.1--9.1%。在对这些候选配置池的访问受限时，Muon 的预期遗憾也更高。这些结果刻画的是使用参考内核的小型模型；其实际耗时排序并不能确立更大模型或经过优化的实现之间的排名。