用于优化深度学习模型的混合动量方法

arXiv:2610.27674v1 公告类型：新 摘要：动量是深度学习中随机优化的核心方法，包括大型语言模型的训练。经典动量方法通常依赖快速的指数移动平均（EMA）方案，该方案在固定时间尺度上对过去的梯度进行折扣，可能会降低那些仍然具有信息价值的较早梯度的权重。这在保留长期历史信息与适应近期变化之间造成了权衡。我们提出了混合动量（HyM），将过去梯度的线性加权平均与按几何方式折扣的快速动量相结合。前者分配与梯度迭代索引成比例的权重，并保留不断扩大的历史跨度；后者则强调近期梯度。这种混合结构具有模块化特性，可以与自适应预条件化及其他更新变换相结合。具体而言，我们提出了 HyMUON，将 Newton--Schulz 正交化应用于混合方向。示例和受控实验表明，结合这两个时间尺度上的梯度信息能够带来益处。在图像分类、机器翻译和语言建模任务中，HyM 和 HyMUON 达到了与强基线相当或更好的效果。在 IWSLT14 以及 100k 步和 600k 步的 GPT-2 124M OpenWebText 实验设置中，HyMUON 均优于 Muon。对于在 C4 上进行的 LLaMA-1.3B 预训练，HyMUON 达到 2.777 的最终验证损失，而 Muon 为 2.903。