预测并修复大型语言模型中的合并崩溃

arXiv:2610.03199v1 公告类型：新 摘要：从同一基座模型微调得到的大型语言模型可以通过对其任务向量求平均来合并，但有些合并结果的性能会远低于基座模型，而常见的合并算子在评估前无法发出任何预警。我们表明，专家模型任务向量的一个统计量既能预测这种崩溃，也能校准其修复方式。平均操作所移除的功率等于各专家模型任务向量之间的方差，我们将其作为干扰度量。在一个可用的噪声模型下，合并所引入的扰动会随着合并系数和干扰程度的增加而增大，从而得到一个合并前评分。在我们针对四个模型系列的二十二种合并配置进行的实验中，只有破坏性合并的该评分超过了阈值。我们发现，专家模型之间符号冲突的统计量是现有合并算子的常见优化目标，但它们实际上具有反向预测性。随后，我们在评估十四种合并结果之前对其进行了预测，其中十二项预测正确，包括一对因继续预训练而被推过阈值的专家模型所产生的破坏性结果。为解决这种崩溃，我们提出 PRISM：一种先对任务向量求平均、再根据每层的干扰程度设定水平并对各层执行软阈值处理的算子。在无需数据或调参的情况下，PRISM 使全部五个破坏性合并的结果都保持在阈值之上，并且与基座模型的差异处于评估噪声范围内；相比之下，普通平均的结果要么至少低于基座模型 14.4 分，要么完全崩溃。我们仅在评分超过阈值时应用 PRISM，而对于低于阈值的合并则保留普通平均；后者包括全部十五个无害合并。代码见 https://github.com/js-lee-AI/PRISM】【。