在各个 LLM 训练阶段切换优化器的短暂成本

arXiv:2610.22650v1 公告类型：新 摘要：近期研究表明，在预训练阶段与后续训练阶段之间切换优化器会带来性能成本，但目前尚缺乏对这一现象的系统性研究。我们通过从头开始预训练 1.2B 参数的 Llama-3 模型，改变使用每种优化器进行更新的比例，研究 AdamW 与 Muon 优化器之间的不匹配问题；同时，在持续预训练和监督微调（SFT）期间对这两种优化器进行类似的插值。令人意外的是，我们几乎没有发现具有实际意义的优化器不匹配惩罚的证据：最终性能在很大程度上可以由预训练优化器和后训练优化器各自的独立影响解释；随着 SFT 期间 Muon 更新所占比例增加，下游性能通常会提升。尽管匹配预训练阶段所用的优化器可以减少 SFT 期间的遗忘，但这并不会转化为更高的最终基准性能。我们还在 Llama 和 Qwen 系列的开放权重模型上评估了 AdamW 和 Muon 用于任务通用 SFT 的表现，模型规模最高达到 14B 参数。在这些模型使用 AdamW 进行预训练的情况下，Muon 仍然具有与 AdamW 相当的竞争力。综合来看，我们的结果表明，后训练阶段所选用的优化器基本上可以独立于预训练阶段使用的优化器。