同策略蒸馏的学习动力学

arXiv:2611.08016v1 公告类型：新论文 摘要：同策略蒸馏（OPD）正成为语言模型后训练的重要范式，它将密集的教师监督与基于学生生成轨迹的训练相结合。这形成了一个反馈循环：每次更新都会改变学生模型，进而改变产生后续更新的训练分布。然而，这种反馈如何塑造学习与泛化，目前仍缺乏深入理解。我们对 OPD 的学习动力学进行了机制分析，将反馈循环区分为两个阶段：将蒸馏信号转化为参数更新，以及通过广播使这些更新改变不同前缀下的预测并重塑采样生成分布。该框架帮助我们理解两种现象：尽管教师与学生之间存在显著分歧，学生的响应仍然有限；当提高局部师生一致性的更新也增加了不成功续写的概率时，模型会发生退化，使学生在后续采样生成中接触到不可靠的监督。最后，我们表明，离线蒸馏可以为学生进行 OPD 做好准备，而不必显著提高其即时的留出集准确率。尽管单独使用 OPD 可能降低生成质量，但经过充分的离线准备后，它可以带来显著的准确率提升。总体而言，我们的结果揭示了教师监督、学生模型的几何结构与不断演变的采样生成分布如何共同决定 OPD 的学习动力学及其对下游性能的影响。