DTDD：用于可靠同策略监督的散度触发动态蒸馏

arXiv:2610.19302v1 公告类型：新论文 摘要：同策略蒸馏（OPD）为学生模型生成的轨迹提供密集的词元级监督，但当学生模型与教师模型产生偏离时，这种监督可能变得不可靠，而偏离可能源于较大的初始策略差距，也可能源于长程推理和工具使用过程中不断累积的错误。我们提出散度触发动态蒸馏（DTDD），这是一种自适应 OPD 框架，利用片段级的学生模型与教师模型之间的散度，在训练过程中触发教师模型接管。当推理过程中的散度触发干预时，学生模型生成的前缀仍接受标准 OPD 监督。随后，教师模型生成用于恢复的后缀，学生模型通过行为克隆进行学习，具体采用教师模型所生成词元上的交叉熵。我们在三种场景下评估 DTDD：长程推理、从未经离线监督微调（SFT）的基础模型初始化状态开始蒸馏，以及多轮智能体。我们还比较了不同的触发机制设计和教师模型干预率。DTDD 将预热后的峰值梯度范数降至原来的 $1/8.6$；从基础模型初始化状态出发，它仅需 OPD 的 $1/2.6$ 次优化器更新，即可在留出数学测试集上达到 $21.3\%$ 的准确率；两种方法最终的准确率均接近 $22\%$。在采用 LoRA 的 ALFWorld 和智能体编程任务上，它分别将观测到的最佳性能提升了 $4.8$ 和 $4.1$ 个百分点。消融实验表明，基于片段平均散度的触发机制优于基于单词元散度尖峰的触发机制。在学习教师模型生成的恢复轨迹时，行为克隆也比所测试的 OPD 替代目标更有效。在 23 个实验组中，当教师模型的表现显著优于经 OPD 训练的学生模型时，接管通常有益，前提是教师模型能够从学生模型访问过的状态中恢复、学生模型能够学会这些恢复轨迹，且教师模型的干预既不过多也不过少。