模型合并不要求统一的 LoRA 秩

模型合并将分别微调的专家模型组合成单个模型，无需重新训练。标准做法是以相同的 LoRA 秩训练所有专家模型，这使各专家模型的秩选择相互绑定，尽管每个领域都有各自的最优秩。我们表明，这种绑定是合并方法的特性，而非模型合并本身的要求。我们在三个领域（数学、指令遵循、多语言）上，采用四种秩和三种模型规模，训练了 36 个专家模型，然后使用六种方法，分别在秩统一和各领域采用自身最优秩的情况下进行合并。让专家模型采用不同的秩，不会给平均法和基于效用的选择方法带来性能损失，反而可使其多领域准确率最多提升 1.8 个百分点；而冲突消解方法的表现则不一致，最多可能下降 4 个百分点。这种差异的原因很简单。合并时只保留汇集后的谱分量中的固定比例，而按大小选择谱分量的方法会丢弃许多本可降低损失的分量。这些方法还倾向于丢弃同一个专家模型：指令适配器的奇异值最小，因此几乎被完全丢弃，导致 IFEval 得分下降 16 至 25 个百分点。相反，根据谱分量对损失的影响进行选择，能够保留全部三个专家模型，并使准确率在跨度为 8 倍的秩范围内几乎保持不变（在 4B 规模下，准确率变化为 0.7 个百分点，而 TIES 为 6.7 个百分点）。因此，只要合并算子不按幅值进行选择，就可以为每个专家模型单独选择秩。