剖析强到弱 OPD 相较于 GRPO 的计算效率

arXiv:2611.08453v1 公告类型：新论文 摘要：同策略蒸馏（OPD）利用冻结教师模型提供的逐词元监督，在学生模型自身生成的轨迹上训练学生模型。与强化学习相比，这种密集信号能否减少达到目标准确率所需的训练 FLOPs？我们在不同任务难度、学生和教师模型规模、领域及优化选项下，系统比较了标准反向 KL OPD 与组相对策略优化（GRPO），衡量留出集准确率与训练 FLOPs 的关系。在使用经过后训练的外部教师模型时，即便教师模型进一步接受了 GRPO 训练，OPD 在相同设置下的单位训练 FLOP 准确率通常仍不及 GRPO，而且经常出现回答长度膨胀。然而，换一种教师模型，情况就会改变：当教师模型是学生模型自身的 GRPO 检查点时，OPD 能在数学任务上恢复该检查点的准确率，而所需的蒸馏 FLOPs 仅为 GRPO 达到相同准确率所需 FLOPs 的 $1/50$。沿用这一教师设置，我们在更大的学生模型、代码任务以及第二个模型家族中，都一致观察到了这种高效率。然而，在单一领域中，GRPO 检查点本身就已经是所需的模型，因此对其进行蒸馏会增加总计算量。在跨领域场景中，不同的 GRPO 检查点具备不同的能力，没有任何单一检查点能够满足所有领域的需求。多教师 OPD（DeepSeek-AI，2026）将各领域的 GRPO 专家整合到单个学生模型中，使其达到每个专家的准确率，而蒸馏阶段的计算开销仅为专家模型训练 FLOPs 的 5.2%（2 个领域）和 8.0%（4 个领域）。将专家模型训练与蒸馏的计算量合并计算后，该流程在双领域混合任务上达到了联合 GRPO 的性能，同时总 FLOPs 减少了 42.0%。