更广泛地审视模型合并：重新思考任务算术所诱导的隐式正则化

arXiv:2610.07990v1 公告类型：新 摘要：模型合并旨在通过组合各个特定任务模型的权重，以较低成本构建多任务模型。为了在多个任务上取得良好表现，大多数现有的合并方法会使用额外数据集来寻找特定任务权重更新的最佳线性组合系数。然而，我们发现了这一标准实践中存在的一种隐式正则化：对系数进行搜索会将候选模型限制在由特定任务权重更新所张成的子空间内。在本研究中，我们探讨了这种正则化是否确实有用。令人意外的是，实验结果表明，在不采用这种正则化的情况下优化合并模型权重，能够显著提升常见合并方法在多种架构、领域中的表现，甚至适用于一种极端数据受限的场景——每个类别仅有一个样本。此外，直接优化预训练模型权重的表现甚至优于一些现有的合并方法。分析表明，更优的多任务权重存在于该子空间之外，并且可以通过多种方法找到。我们研究了使用额外数据集的不同策略，讨论了它们在模型合并中的实际应用及影响。总体而言，这项工作呼吁重新审视现有的模型合并流程，推动对权重空间进行更广泛的探索，并重新思考任务算术所诱导的隐式正则化。