从梯度到能力：理解多教师在策略蒸馏

arXiv:2610.02179v1 发布类型：new 摘要：多教师在策略蒸馏（MOPD）旨在将通过 RL 训练的多个教师模型的优势结合到单个学生模型中，但教师信号如何影响参数变化仍缺乏深入研究。我们研究了 Qwen3-1.7B，使用从与学生模型相同初始化出发、通过 RL 训练的四个领域教师模型，比较梯度、优化器更新和任务学习曲线，并额外使用 SmolLM3-3B 进行诊断。我们发现，有多个因素会影响教师信号。首先，损失平均会隐式地对响应进行加权：token 平均更偏向较长的响应，而均衡各领域贡献会在领域内部保留这种加权。其次，Adam 的一阶矩会减小参数更新之间的差异：教师模型之间的余弦相似度为 0.83，而不同平均规则之间为 0.96，尽管原始梯度存在差异。第三，BF16 舍入会掩盖微小变化：约 97\% 的 FP32 主权重不同于初始化值，但 BF16 权重中仅有 7--11\% 发生了变化。最后，top-64 交集 KL 梯度与 Qwen 的全词表梯度高度一致，但其对任务性能的影响取决于平均方式：在响应平均下，数学准确率比采用采样 token 策略梯度（PG）高 2.6 个百分点；而在全局 token 平均下则低 2.1 个百分点。