Muon 究竟何时胜出？数据、时间与调参预算下的配对基准评测

Muon 在数据效率上的提升，促使我们在明确的数据、时间和调参预算下评估其性能。我们在单张 A100 GPU 上，将参考版单设备 Muon 实现与 AdamW 进行比较，涵盖参数量为 1770 万和 3360 万的因果语言模型，以及参数量为 270 万的视觉 Transformer。我们采用统一的 23 个候选配置开发预算筛选配置，并使用五个配对随机种子、完整的验证轨迹、优化器步骤计时和固定的一次性测试进行评估。在数据量相同的情况下，Muon 将验证损失曲线下面积降低了 3.25–22.44%，并在全部 20 组主要配对比较中降低了测试损失。在此配置下，Muon 在视觉任务上将按时间归一化的损失曲线下面积降低了 19.68–22.31%，而在语言任务上，AdamW 则表现更好，降幅为 3.38–6.96%。完整的 Muon 优化器调用（包括辅助的 AdamW 更新）占训练时间的 56.1–69.6%，而 AdamW 基线的这一比例为 6.1–9.1%。在对这些候选配置池的访问受限时，Muon 的期望遗憾也更高。这些结果刻画的是采用参考内核的小模型的表现；它们在实际运行时间上的优劣顺序，并不能确立更大模型或优化实现的排名。