ReGRA：用于互补低秩微调的残差梯度适应

arXiv:2610.19700v1 公告类型：新论文 摘要：低秩适应（LoRA）通过学习低秩权重更新，实现参数高效微调。提高秩可以扩大适应能力，但并不能保证所有学到的方向都能改善下游任务性能。在一项针对秩为 16 的 LoRA 的诊断实验中，我们发现，仅保留最主要的奇异分量即可获得最佳性能，而加入更多分量反而会导致性能下降。受此启发，我们提出残差梯度适应（ReGRA），这是一种旨在更有效地利用固定秩预算的两阶段方法。第一阶段结束后，ReGRA 在校准集上估计任务梯度，并移除这些梯度在第一阶段更新所诱导的双侧子空间上的投影。随后，它聚合残差梯度方向，以初始化第二阶段适配器，同时保持第一阶段更新不变。正交正则项促使两次更新捕获互补方向。两次更新均可合并到预训练权重中，不会产生额外的推理开销。在多种基准测试集上，ReGRA 的性能优于总秩相同的其他方法，甚至可与秩为其两倍的 LoRA 适配器相媲美。消融研究和进一步分析验证了其核心设计选择的贡献。代码已公开：https://github.com/Fanyao-Li/ReGRA。