模型合并无需统一 LoRA 秩

arXiv:2611.06486v1 公告类型：新论文 摘要：模型合并将分别微调的专家整合为单个模型，无需重新训练。标准做法是以相同的 LoRA 秩训练所有专家，这使各专家的秩选择相互耦合，尽管每个领域都有各自的最优秩。我们表明，这种耦合是合并方法的属性，而非合并本身的属性。我们在三个领域（数学、指令遵循、多语言）、四种秩和三种模型规模下训练了 36 个专家，随后采用六种方法，分别在统一秩和各领域各自的最优秩下进行合并。让专家采用不同的秩，对平均法和基于效用的选择方法没有任何性能代价，还能使其多领域准确率最多提高 1.8 个百分点；而冲突消解方法的表现则不一致，准确率最多可能下降 4 个百分点。这种差异的原因很简单。合并仅保留汇总后谱分量中的固定比例，而按大小选择谱分量的方法会丢弃许多本可降低损失的分量。这些方法还往往会丢弃同一个专家：指令适配器的奇异值最小，因此几乎被完全丢弃，导致 IFEval 下降 16 至 25 个百分点。相比之下，根据谱分量对损失的影响进行选择，能够保留全部三个专家，并使准确率在跨度为 8 倍的秩范围内几乎保持不变（波动为 0.7 个百分点，而在 4B 规模下，TIES 的波动为 6.7 个百分点）。因此，只要合并算子不按幅值进行选择，就可以为每个专家独立选择秩。