博客：优化器综述

到 2025-2026 年，神经网络优化已不再能简单地被描述为一系列新的 Adam 变体。设计空间已经从坐标扩展到矩阵和层，从固定训练周期扩展到随时间变化的策略，从数学更新规则扩展到必须在分片和低精度计算中存活的状态表示。本文综述沿着四个在很大程度上相互独立的轴对近期优化器和训练优化方法进行组织：时间估计、更新几何、周期管理，以及表示与系统。它将 Muon 的谱归一化、Shampoo 和 SOAP 的历史矩阵统计、自适应和混合矩阵方法、节省内存的优化器、无调度训练、小批量修正以及量化的优化器状态联系起来。核心经验结论是刻意保持克制的：矩阵感知方法确实代表了一项真正的进步，但不存在一种与具体上下文无关、能够替代 AdamW 的方案。不同方法的排名会随着模型规模、数据与参数比、批大小、训练调度、参数分片、调参预算，以及目标指标是 tokens、FLOPs、墙钟时间还是内存而变化。其实际意义在于，对优化器设计采取一种组合式视角，并对优化器主张采用更严格的评估协议。