何时应遵循教师：基于优势的同策略蒸馏

在线策略蒸馏（OPD）通过直接从学生采样轨迹进行训练，其表现往往优于监督微调（SFT）等离线方法。然而，标准 OPD 训练学生在轨迹的每个状态下都遵循教师，假设教师指导始终有益。与此不同，我们区分了教师偏好的行为与真正有助于当前学生成功的行为。我们提出基于优势的同策略蒸馏（AOPD），根据教师动作在学生策略下的反事实优势对其赋权。能够改善学生预期结果的教师动作会得到强化，而无法带来改善的动作则会被降低权重。直接计算这些优势需要在每一步尝试不同的教师动作，并从每个动作出发生成新的轨迹。我们则证明，仅使用标准的学生采样轨迹及其终局奖励，即可估计 AOPD 目标。我们的估计器对学生采样的动作使用教师重要性权重，从而提供无偏的优势加权监督，无需额外生成轨迹或评估奖励。这使 AOPD 能够将教师监督集中于有助于当前学生的动作，同时保留标准 OPD 的轨迹采样效率。在数学、编程和 Medqa 上的实验表明，无论是在外部教师还是自蒸馏设置下，该方法均优于蒸馏和强化学习基线。