MUON-RT：复用教师轨迹，实现用于大语言模型自蒸馏的无动量 Muon

arXiv:2610.41104v1 公告类型：新投稿 摘要：采用指数移动平均（EMA）教师的大语言模型自蒸馏方法已经保留了学生模型的更新历史。然而，Muon 仍存储单独的动量缓冲区，增加了训练中的持久内存占用。我们提出 Muon with Reused Teacher（Muon-RT），通过复用教师与学生之间的位移，消除隐藏层权重矩阵的动量缓冲区。我们证明，该位移编码了实际应用更新的指数加权历史，并在局部模型下平滑了时间上不相关的噪声。Muon-RT 移除该位移的径向分量，对其进行谱归一化，并将其与经过 Newton-Schulz（NS）正交化的当前梯度混合。在明确的正则性与对齐假设下，我们证明，期望目标差距的界会线性收缩至某个残余误差水平。在 Qwen2.5-7B-Instruct 上采用 Self-Distillation Fine-Tuning（SDFT）时，与 AdamW 相比，Muon-RT 的平均准确率提高了 2.6 个百分点，持久内存占用减少了 42%；与带动量的 Muon 相比，平均准确率提高了 5.4 个百分点，持久内存占用减少了 27%。在 Olmo-3-7B-Instruct 上采用 Self-Distillation Policy Optimization（SDPO）时，与 AdamW 相比，其平均准确率提高了 2.0 个百分点。