通过在对齐前后合并模型控制 LLM 的多样性—质量权衡
Controlling the Diversity-Quality Trade-Off of LLMs by Merging Models Before and After Alignment
精选理由
提出无需额外训练的分层模型合并方法，灵活调节大模型输出的多样性与质量平衡。
AI 摘要
arXiv:2610.22999v1 公告类型：cross 摘要：众所周知，对齐会改变大型语言模型（LLM）的输出特征。基础模型往往生成更多样化的输出，而对齐模型则倾向于产生质量更高的输出。二者之间的适当平衡取决于任务。现有方法要么需要代价高昂的微调，要么像温度采样一样，主要提升词汇多样性而非语义多样性。我们提出了一种具有深度感知能力的 FrankenMerging 方法，无需额外训练即可控制对齐模型与其基础模型之间的多样性—质量权衡。该方法基于以下假设：词汇多样性与较低层的关联更为密切，而语义多样性与较高层的关联更为密切，因此将对齐模型的较低层与其基础模型的较高层结合起来。实验表明，调整从每个模型中提取的层数可以同时调节多样性和质量。在大多数情况下，合并模型的语义多样性高于对齐模型；在某些分层位置上，其词汇多样性甚至高于两个原始模型。与温度采样相比，在大多数设置下，它们还表现出了更优的多样性—质量权衡。作为支持性消融实验，我们反转了合并顺序，所得结果总体上与该假设一致。