离策略合并优于在线策略自蒸馏的持续学习效果

AI 长期以来的目标之一，是构建能够持续学习并自我改进的模型。对于经过后训练的模型，在新数据上进行监督微调（SFT）往往会导致泛化能力下降和灾难性遗忘。因此，传统观点认为，在线策略训练是持续学习的前提。然而在实践中，包含新知识或新能力的数据往往是离策略的。在线策略自蒸馏（OPSD）等方法试图将离策略数据转换为在线策略信号，以弥合这一差距，但研究表明，这可能导致推理能力崩溃。本文表明，在持续学习中，离策略合并优于 OPSD。我们首先展示，SFT 能够从新数据中学习到有用信号，但直接应用其更新会干扰已有能力。我们提出一种称为嫁接（grafting）的简单方案来减少这种干扰，该方案改变了更新的学习位置及其应用方式：（1）在更早的 donor checkpoint 上学习更新，理想情况下甚至在预训练结束之前学习，然后将权重更新应用于经过后训练的模型；（2）缩放权重更新，这等价于某种形式的模型合并；（3）当新数据分布与经过后训练的模型相距较远时，可选地屏蔽最敏感的更新方向。在包括以下情形的多种持续学习设置中：（1）从专家轨迹中进行蒸馏；（2）使用 STaR 和 Pedagogical RL 进行自我改进；（3）在预训练截止点之后注入知识；嫁接在新任务和旧任务性能上均帕累托支配 SFT 和 OPSD，同时避免了昂贵的在线策略采样。因此，我们的工作对“在线策略训练是基于 RL 训练模型进行持续学习的必要条件”这一观点提出了挑战。