重新思考稳健非对称学习率的 LoRA 初始化

arXiv:2610.32142v1 公告类型：新 摘要：低秩适配（LoRA）通常对学习率（LR）的选择非常敏感。近期实证研究表明，在精心调优学习率后，原版 LoRA 仍能与许多提出的 LoRA 变体保持竞争力。这使得实践中的核心问题从设计越来越多的变体，转向降低学习率选择的成本和脆弱性。LoRA+ 通过采用非对称学习率解决这一问题：为上投影矩阵 $B$ 使用比下投影矩阵 $A$ 更大的学习率。然而，比例 $\eta_B / \eta_A$ 本身也成为一个额外的超参数：较大的比例可以改善适配效果，但在标准 LoRA 初始化下，也可能导致训练不稳定以及依赖于该比例的性能崩溃。我们通过对 LoRA 动力学进行信号—噪声分解，确定了这种脆弱性的来源。在标准 \initA 下，更新中包含一个由初始化引入的噪声项，其幅度会受到 $B$ 的学习率 $\eta_B$、初始化尺度 $\beta$ 以及适配器秩 $r$ 的影响。在实际的 LLM 微调中，这种不会消失的噪声可能限制 LoRA+ 式非对称学习率所预期带来的性能提升。为抑制这一影响，我们提出 \initAA，这是一种简单的初始化方法：在保持 $B_0=0$ 的同时，将 $A$ 的方差缩放为 $\sigma_A^2 \propto n^{-2}$。在两种初始化方式具有匹配的秩和训练时长时，该方法使初始化噪声能量额外降低 $1/n$ 倍，从而在保留初始适配器输出为零的同时，稳定非对称 LoRA 训练。实证结果表明，在不同初始化尺度、适配器秩和 LoRA 更新乘数下，\initAA 都能显著拓宽稳定学习率区域。在不同任务和模型上，\initAA 减小了最佳比例的漂移，避免了标准 \initA 在高比例下出现的崩溃，并使基于宽度的指导原则 $\eta_B \approx n \eta_A$ 成为有限规模预训练模型的一个实用起点。