面向统一多目标模型的混合训练合并

arXiv:2610.01238v1 公告类型：新 摘要：统一语言模型越来越需要在单组参数内结合数学、代码、指令遵循以及可控思考行为等异构能力。一种常见方案是针对多个目标进行顺序式后训练，但这会将所有目标纠缠在同一条优化轨迹上，使最终模型对训练顺序、数据比例、训练计划和停止标准高度敏感。参数空间合并提供了一种模块化替代方案，但对单目标专家进行朴素合并往往会失败：领域能力急剧下降，或者思考/非思考模式坍缩为一种占主导地位的行为。我们将这两类失败归因于不兼容的参数空间几何结构：在单目标上训练的专家会漂移到参数空间中相距较远的区域，使它们的插值结果落在任何共享低损失盆地之外。我们提出 Mixture-Trained Merging（MTM），让每个分支在目标偏置的数据混合上进行训练，而非仅针对单一目标，从而使其接触跨目标交互，并在合并时实现兼容。MTM 使用合并模型的评估结果作为低成本信号来选择分支混合比例，避免昂贵的数据混合消融实验。该过程是迭代式的：每一轮利用全局选定的合并系数提升基础模型，并在保持其他目标的约束下，利用各领域偏好的系数细化每个分支的数据混合比例。为实现超越单纯形网格搜索的扩展，MTM 使用基于 qNEHVI 的多目标贝叶斯优化。在代码、数学、指令遵循以及思考/非思考控制等任务上，MTM 均优于朴素合并；在单目标合并会导致行为坍缩的情况下，它仍能保持行为分离，这表明高效的统一模型需要由经过可合并性训练的分支构成。