通过无数据协方差估计进行模型合并

arXiv:2604.01329v2 公告类型：替换 摘要：模型合并提供了一种低成本组合各个模型的方法，从而生成一个继承每个模型能力的模型。尽管一些合并方法能够达到接近多任务训练的性能，但它们通常基于启发式动机，缺乏理论依据。一种更具原则性的方法是将模型合并表述为逐层优化问题，直接最小化任务之间的干扰。然而，这种表述要求根据数据估计每层的协方差矩阵，而在执行合并时可能无法获得这些数据。相比之下，许多基于启发式动机的方法不需要辅助数据，因此在实践中更具优势。在本文中，我们重新审视了干扰最小化框架，并表明在特定条件下，可以直接根据差分矩阵估计协方差矩阵，从而无需数据，同时还能降低计算成本。我们在视觉和语言基准上验证了该方法，所使用的模型参数规模从 86M 到 7B 不等，在性能上超过了此前最先进的无数据模型合并方法。