通过合成自蒸馏对小模型进行持续后训练

arXiv:2610.13113v1 公告类型：新提交 摘要：持续后训练面临能力习得与知识保留的双重挑战：模型必须在学习新能力的同时保留已有知识。尽管自蒸馏微调（SDFT）利用上下文示例进行自监督来缓解这一问题，但它依赖于较强的上下文学习和指令遵循能力。因此，SDFT 在对低延迟、端侧应用至关重要的小模型上失效。为使较小规模的模型能够持续学习，我们首先确定了失效的根本原因。我们表明，能力习得不佳和知识遗忘与后训练模型的分布偏移呈线性相关，揭示了分布内学习的必要性。因此，我们提出合成自蒸馏（SynthSelf），将改写任务交由规模仅略大、同系列的对齐模型完成，以模仿 SDFT 的分布内改写。结合离策略监督和拒绝采样，这种方法能够在不破坏小模型原始分布的前提下，提供其所需的高质量监督。在 4 个能力习得数据集（包括一个混合数据集）和 14 个知识保留基准上的评估表明，SynthSelf 在 3 种小模型规模上均持续优于 6 种方法（包括离策略蒸馏和同策略蒸馏）。大量进一步分析证实，SynthSelf 为有效实现小模型持续学习铺平了道路。