重新思考适配器放置：主导适配模块视角

arXiv:2605.06183v2 公告类型：替换并交叉列出 摘要：低秩适配（LoRA）是一种广泛使用的参数高效微调方法，通过在冻结的预训练模型中插入可训练的低秩适配器来实现适配。近期研究表明，使用更少的 LoRA 适配器仍可能保持甚至提升性能，但现有方法仍将适配器广泛分布于模型中，因而\emph{应将有限数量的适配器放置在何处以最大化性能}这一问题仍在很大程度上悬而未决。为研究这一问题，我们引入了 \textbf{PAGE}（投影适配器梯度能量），这是一种基于梯度的敏感性探测方法，用于估计每个候选 LoRA 适配器可获得的初始可训练梯度能量。出乎意料的是，我们发现在两个模型家族和四项下游任务中，PAGE 都高度集中于单个浅层 FFN 下投影模块。我们将该模块称为\textbf{主导适配模块}，并表明其层索引取决于架构，但在不同任务间保持稳定。受这一发现启发，我们提出了 \textbf{DomLoRA}，一种仅在主导适配模块处放置单个适配器的放置方法。DomLoRA 仅使用标准 LoRA 可训练参数量的 \textbf{0.7\%}，便在指令遵循、数学推理、编程和多轮对话等下游任务中的平均表现上超越了标准 LoRA。该方法的表现也达到或超过了其他 LoRA 变体，并且与广泛放置适配器相比，可实现最高 \textbf{2.74}$\times$ 的训练加速，支持将主导适配模块视角用作实用的放置指导原则。