通过采样进行微调：SFT 的学习能力超乎你的想象

arXiv:2610.02140v1 公告类型：新 摘要：为前沿模型引入新能力长期以来一直是后训练的目标，而后训练主要采用监督微调（SFT）和强化学习（RL）来实现这一目标。传统观点认为，RL 能够在新任务上实现强泛化，同时不会丧失已有能力；而 SFT 则容易出现泛化能力弱和灾难性遗忘。与此同时，SFT 可以从离策略专家数据中学习，而 RL 必须依赖模型通过反复采样找到成功轨迹的能力。在我们的工作中，我们希望在利用离策略数据所包含的特权信息的同时，发挥在策略学习的优势。然而，我们并不修改学习目标以适应这些数据，而是调整数据分布，使其更适合学习器。我们引入了一种马尔可夫链蒙特卡洛（MCMC）采样算法，在给定用于微调的参考模型后，逐步将离策略轨迹转换得更加符合在策略分布。在科学技能习得、数学推理和开放式专业知识等任务中，我们的采样算法使 SFT 能够媲美当前主流的后训练技术，并且相较于强大的在策略基线，通常能够实现更好的泛化并减少遗忘。此外，所得的微调模型展现出强大的分布性能，并且能够学习超越基础模型分布的内容。从更高层次来看，我们的方法将采样视为一种模型原生算子，用于塑造数据以提升可学习性，并作为贯穿整个后训练技术栈的通用基础组件，具有更广泛的实用价值。