MuPACE：学习为 LoRA 微调调节 Muon 的步调

arXiv:2610.28072v1 公告类型：新 摘要：学习率调度通常在训练开始前就被固定下来，但在使用低秩适配器（LoRA）微调大型语言模型时，合适的学习率尺度会随模型、任务和适配器配置的不同而显著变化。实践者需要针对每个新问题重新调整调度方案，但即使经过调优的调度方案，也无法对训练过程中遇到的动态变化做出响应。为此，我们在不同的 LoRA 微调问题之间摊销学习率选择的成本。我们不改动基础优化器 Muon，使其归一化更新确定更新方向，而只对全局步长进行元学习。我们的方法 MuPACE 是一个小型循环策略模型，在一组微调运行任务上进行元训练；它根据观测到的训练轨迹生成条件化输出，并对一种具有可解释性的解析调度方案施加有界调整。在 64 个微调问题上，与采用统一强默认设置的标准固定调度方案相比，MuPACE 在 64%–78% 的问题上表现更优；与针对每个任务调优峰值的同类调度方案相比，其性能相当。MuPACE 仅在最多 16 层的模型上进行元训练，却能一次性迁移到未见过的任务，并适用于深达 64 层的模型，例如 Qwen3-32B 和 Qwen3.8-27B；在这些模型上，单次运行的表现仍可与通过参数搜索得到的调度方案竞争。