使用 Chained LMOs 优化大型语言模型

arXiv:2610.10975v1 公告类型：new 摘要：Muon 促成了一系列不断壮大的优化器，这些优化器组合了多种矩阵归一化方法，但这类方法仍然彼此割裂，缺乏统一视角。我们引入链式线性最小化预言机（chained linear minimization oracles，chained LMOs），将这些方法视为多个 LMO 的组合。尽管许多链式方法在经验上表现出色，但其中不少超出了标准 LMO 框架的范围，并且可能在光滑凸目标上发散。为解释组合为何仍能带来帮助，我们转向线性联想记忆，并表明在各向异性嵌入下，链式方法能够优于 Muon。在实验方面，我们提出了 TensorChain，这是一种处于该框架内的新型优化器，可将不同层中相互兼容的权重矩阵堆叠起来，并沿各个轴对所得三维张量进行归一化。在 Qwen3 0.6B 和 1.7B 的预训练中，TensorChain 在平均 token 效率方面超过了所有链式基线方法；在验证损失相同的情况下，相比 Muon 平均节省 9.6% 的 token。