更密集 ≠ 更好：持续后训练中策略内自蒸馏的局限
Denser $\neq$ Better: Limits of On-Policy Self-Distillation for Continual Post-Training
精选理由
揭示自蒸馏可能加剧持续后训练遗忘，为方法选型与稳定训练提供警示。
AI 摘要
arXiv:2607.01763v2 公告类型：替换 摘要：持续后训练使基础模型能够在保留既有能力的同时获取新知识。近期研究表明，策略内学习可以缓解遗忘，其中自蒸馏尤其具有吸引力。我们通过策略内自蒸馏优化（SDPO）重新审视这一乐观观点。实验表明，当教师信号稳定且对齐良好时，SDPO 能够加速域内专门化，但难以实现分布外泛化。在持续后训练中，SDPO 表现出更严重的遗忘，甚至可能发生崩溃；相比之下，更为成熟的策略内强化学习方法 GRPO 的适应更加保守，也能更好地保留先前能力。进一步分析表明，这些失败与参数空间和响应空间中更大的漂移有关，也与自我强化的师生循环对高频伪影的放大有关。因此，仅依靠策略内数据不足以实现持续学习。当教师目标稳定且 token 级监督可靠时，自蒸馏是有效的，但不应被视为持续后训练的默认稳定器。我们的代码可在 https://github.com/Moenupa/SDPO-CL 获取。