最佳优化器取决于批次大小
The Best Optimizer Depends on Batch Size
精选理由
揭示批大小会改变最优优化器，助力语言模型训练中的优化器选择与调参。
AI 摘要
arXiv:2610.08975v1 公告类型：new 摘要：大量新的自适应优化器旨在高效估计和利用小批次梯度统计信息，以调整参数更新，但它们通常只在单一批次大小下进行基准测试。超参数缩放规则承诺在批次大小和梯度噪声发生变化时保持性能，这意味着在某一批次大小下表现最佳的优化器在另一批次大小下也应保持最佳。我们通过以下发现对这种优化器开发与评估方法提出质疑：(1) 没有任何有原则的缩放规则能够让 Muon 在不同训练设置下始终保持有效；(2) 即使经过广泛的超参数调优，语言模型预训练的最佳优化器仍会随批次大小而变化。