$\alpha$Transfer：用于高效模型合并的系数迁移

arXiv:2610.07819v1 公告类型：新 摘要：模型合并通过参数运算将多个微调检查点组合成单个模型，为此提供了一种颇具前景的解决方案。然而，寻找最优合并系数需要进行大量搜索；随着模型规模和数量的增长，由于高昂的内存需求以及搜索空间的组合式增长，这一过程的成本高到难以承受。我们发现，在同一模型系列中，不同模型规模在合并系数上呈现出高度一致的性能分布。这种分布相似性促成了一种实用范式，我们称之为 \textit{$\alpha$Transfer}：先在小型代理模型上搜索最优系数，再将其直接迁移到更大的目标模型上。我们在多种合并方法、模型系列和任务上验证了 $\alpha$Transfer。实验结果表明，在视觉Transformer上，该方法实现了 6 倍加速并减少 70\% 的内存占用；在大型语言模型上，实现了 20 倍加速并减少 85\% 的内存占用，同时保持了相当的性能。我们的研究结果表明，$\alpha$Transfer 是一种高效且具备良好泛化能力的模型合并扩展方法。