LoRA 在监督微调与强化学习中的谱与子空间动力学

arXiv:2611.08414v1 公告类型：新论文 摘要：低秩适应（LoRA）广泛应用于监督微调（SFT）和强化学习（RL），且通常采用相似的优化器设置。然而，这两个阶段不同的动力学如何体现在 LoRA 所优化的低秩增量中，目前仍不清楚。通过跟踪数学推理任务中 LoRA 更新的奇异值谱和子空间，我们发现，RL 在所有学习率下都会使谱集中，而 SFT 在中等学习率下会使谱扩展；此外，在较小学习率下，RL 的奇异子空间旋转速度远快于 SFT。通过逐一改变组成要素，从 SFT 逐步过渡到 RL，我们确定，减去组均值基线是这两种差异的根源。一个通过 LoRA 更新的二次多指标模型揭示了其内在机制：减去组均值基线会改变相干拟合与梯度噪声这两种竞争力量之间的平衡，使其趋向于谱集中和更快的子空间旋转，同时迫使有利于降低风险的学习率保持在较低水平。在这些动力学规律的指导下，我们为各阶段定制 LoRA 更新：在 SFT 中，我们将完整更新的谱平坦化，使适应过程分散到各个奇异方向；而在 RL 中，我们将更新中位于当前 LoRA 增量张成空间之外的部分的谱平坦化，以促进子空间旋转。在多个模型上开展的数学推理任务实验表明，在大多数评估设置中，分别针对 SFT 和 RL 设计的配置均在所比较的方法中取得了最佳性能。