InfiFPO：通过大语言模型中的偏好优化实现隐式模型融合

arXiv:2505.13878v4 公告类型：替换 摘要：模型融合通过轻量级训练方法，将多个具有不同优势的大语言模型（LLM）结合为一个更强大的集成模型。现有模型融合工作主要聚焦于监督微调（SFT），而对偏好对齐（PA）这一提升大语言模型性能的关键阶段探索甚少。目前少数针对 PA 阶段的融合方法（如 WRPO）仅利用源模型的响应输出，舍弃了其概率信息，从而简化了流程。为解决这一局限，我们提出了 InfiFPO，一种用于隐式模型融合的偏好优化方法。InfiFPO 将直接偏好优化（DPO）中的参考模型替换为一个融合后的源模型，该模型在序列层面综合多源概率，既规避了以往工作中复杂的词表对齐问题，又保留了概率信息。通过引入概率裁剪和最大间隔融合策略，InfiFPO 使枢轴模型能够与人类偏好对齐，同时有效地从源模型中蒸馏知识。在 11 个广泛使用的基准测试上的全面实验表明，InfiFPO 始终优于现有的模型融合和偏好优化方法。以 Phi-4 作为枢轴模型时，InfiFPO 将其在 11 个基准测试上的平均性能从 79.95 提升至 83.33，显著增强了其在数学、编程和推理任务中的能力。