利用指令调优与模型合并进行推理模型适配

arXiv:2607.14895v2 公告类型：替换 摘要：推理语言模型（RLMs）通过利用推理 token 形式的测试时计算，展现出令人印象深刻的性能。然而，这种行为使得将 RLMs 适配到新领域变得充满挑战且成本高昂。原因在于，进一步训练可能会扰乱已学习的行为并降低模型性能。这使得利用带有人类编写解答的监督微调数据变得困难：尽管其中包含高质量标注，却缺少推理 token。在本文中，我们展示了尽管存在这一挑战，仍然可以高效地利用此类数据进行 RLM 适配。为此，我们首先使用标准的指令调优。随后，我们利用模型合并，将经过指令调优的模型与原始 RLM 结合起来，并选择合并比例，使所得模型在目标领域中的推理行为得以恢复。我们在编码和文本摘要任务上对四个 RLMs 进行了评估。结果表明，该方法在保持推理行为的同时，能够将目标任务性能提升最高达 $11.0\%$，并将分布外得分的下降幅度限制在平均 $0.7\%$。重要的是，我们的适配过程高效且经济，每个模型的成本低于 USD $\$10$。