参数高效微调方法真的不同吗？

arXiv:2610.09122v1 发布类型：新 摘要：参数高效微调（PEFT）提供了多种参数化方式，但它们在方法和功能上的差异仍不明确。我们在语言模型和扩散模型中比较了六种方法，以考察其参数化方式与任务性能、遗忘程度以及预训练权重几何结构变化之间的关系。受正交微调（OFT）保持谱结构设计的启发，我们首先探究谱保持本身对于适应和保留能力是否重要。我们发现，所选的 LoRA 系列方法也大致保持了预训练几何结构；恢复其发生轻微漂移的奇异值谱，基本能够保持任务性能，这对显式保持几何结构的必要性提出了质疑。除此之外，我们观察到，一些方法表现出不同的适应—保留权衡，且这种权衡会随设置而变化：LoRA 最稳定地在保持有竞争力性能的同时限制遗忘；在大多数比较中，DoRA 的平均任务得分高于 LoRA；而 PiSSA 往往会带来更高的保留成本。进一步的干预实验表明，尽管不同 PEFT 方法带来的性能提升可以归因于对不同谱成分组的修改，但我们始终发现，相较于恢复中间或尾部成分，恢复主导成分能够使通用文本 NLL 或基础图像漂移的平均值降幅最大。总体而言，这些结果促使我们通过几何约束的功能后果，而非仅仅通过其保持效果，来评估几何约束。代码可在 https://github.com/Kuaaannn/PEFT_methods 获取。