通过采样进行微调：SFT 的学习效果超乎想象

长期以来，为前沿模型引入新能力一直是后训练的目标，而实现这一目标主要依赖监督微调（SFT）和强化学习（RL）。传统观点认为，RL 能够在不损失已有能力的情况下，在新任务上实现强泛化；相比之下，SFT 容易出现泛化能力较弱和灾难性遗忘。同时，SFT 可以从离策略专家数据中学习，而 RL 则必须依赖模型通过反复采样找到成功轨迹的能力。在我们的工作中，我们希望在利用离策略数据所包含的特权信息的同时，发挥同策略学习的优势。然而，我们并没有修改学习目标来适应这类数据，而是调整数据分布，使其更适合学习器。我们提出了一种马尔可夫链蒙特卡洛（MCMC）采样算法：给定用于微调的参考模型，该算法能够逐步将离策略轨迹转换为更加同策略的轨迹。在科学技能习得、数学推理和开放式专业知识等任务中，我们的采样算法使 SFT 足以媲美当前主流的后训练技术；与强大的同策略基线相比，它通常具有更好的泛化能力和更少的遗忘。此外，经过微调的模型展现出强大的分布性能，并且能够学习超越对基础模型分布进行锐化的能力。从更高层面来看，我们的方法将采样视为一种模型原生算子，用于塑造更易学习的数据，并作为一种通用基础组件，在整个后训练技术栈中具有更广泛的用途。