MUON-RT：复用教师模型轨迹，实现用于大语言模型自蒸馏的无动量 Muon

采用指数移动平均（EMA）教师模型的大语言模型自蒸馏方法已经保留了学生模型的历史更新。然而，Muon 仍会存储单独的动量缓冲区，增加了训练期间的持久内存占用。我们提出 Muon with Reused Teacher（Muon-RT），通过复用教师模型与学生模型之间的位移，消除隐藏层权重矩阵的动量缓冲区。我们证明，该位移编码了实际应用更新的指数加权历史，并在局部模型下平滑了时间上不相关的噪声。Muon-RT 去除该位移的径向分量，对其进行谱归一化，并在 Newton-Schulz（NS）正交化后将其与当前梯度混合。在明确的正则性与对齐假设下，我们证明了期望目标函数差距的界会线性收缩至某个残余误差水平。在 Qwen2.5-7B-Instruct 上采用 Self-Distillation Fine-Tuning（SDFT）时，Muon-RT 相比 AdamW 将平均准确率提高了 2.6 个百分点，同时减少了 42% 的持久内存占用；相比带动量的 Muon，平均准确率提高了 5.4 个百分点，同时减少了 27% 的持久内存占用。在 Olmo-3-7B-Instruct 上采用 Self-Distillation Policy Optimization（SDPO）时，其平均准确率相比 AdamW 提高了 2.0 个百分点。