组合各个教师学到的内容：通过教师相对偏移实现多教师同策略蒸馏

多教师同策略蒸馏（MOPD）用于两种设置。在同域组合中，多个教师对学生针对同一提示域生成的每条轨迹进行评分，并将其信号合成为单一目标；在路由域蒸馏中，来自不同领域的提示被分配给相应的领域专家。这两种设置通常都迁移各个教师的最终策略，而该策略混合了后训练带来的变化与从教师基座继承的偏好。我们提出 $Δ$-MOPD，将各个教师相对于其基座的 logit 偏移重新锚定到学生冻结的初始模型上进行迁移，并在固定教师选择的条件下，在两种设置中将其与最终策略监督进行比较。我们首先揭示了阻碍最终策略迁移的机制：继承自基座的牵引可能超过后训练产生的偏移。去除这种牵引会降低教师项范数比和目标与学生之间的 KL 散度。我们的实验结果表明，当教师信号在同一状态下被组合时，偏移目标尤其有用。在组合三个教师时，$Δ$-MOPD 的 Math 得分和五项基准综合得分分别比最终策略组合高出 $4.11$ 分和 $1.95$ 分；在组合两个教师时，其准确率与最终策略方法相当。在分阶段路由下，它在两种阶段顺序中均取得更高的平均性能，并将观测到的顺序差距从 $10.50$ 分缩小至 $6.42$ 分。在每次更新仅涉及一个教师的交错路由下，两种目标的表现相当。分阶段实验结果提供了支持性证据，表明这种优势可能也适用于跨训练阶段累积的信号。因此，目标构造是 MOPD 中一个独立的设计维度，与教师选择相辅相成。