学习方向，归一化增益：LoRA 的训练后归一化
Learn the Directions, Normalize the Gains: Post-Training Normalization for LoRA
精选理由
LoRA-Norm无需数据和再训练，平衡适配增益，兼顾任务专精与原能力保留。
AI 摘要
arXiv:2610.02067v1 公告类型：new 摘要：尽管低秩适配（LoRA）能够高效地实现任务专门化，但其学习到的更新可能会损害目标任务之外的能力。我们发现了“适配不平衡”现象：少数奇异方向主导了训练得到的更新，使其性能对增益分配方式十分敏感。我们认为，学习在哪些方向进行适配，并不意味着适配增益能够得到良好平衡。这促使我们提出 LoRA-Norm，一种训练后归一化方法：在保留已学习方向的同时重新平衡其增益。LoRA-Norm 将谱重平衡（对奇异值进行固定的非线性变换）与核范数恢复相结合，从而保留原始的总谱质量。该方法无需校准数据或额外训练，也不会引入推理开销。在两个骨干模型和三个适配任务上的实验表明，LoRA-Norm 能够同时提升平均任务专门化程度和能力保持效果，在这两项指标上均优于所评估的事后谱剪枝和梯度引导编辑配置。更强的功能均衡并未带来一致的额外收益，这表明平衡适配器增益与均衡其响应是两个不同的目标。