DualOPSD：用于基于策略自蒸馏的自适应特权教师

基于策略的自蒸馏（OPSD）使用学生模型的一个特权副本，在不依赖外部教师的情况下提供稠密监督。OPSD 会将这个特权教师保持固定，尽管训练过程中学生的分布和输出风格会发生变化。我们提出 DualOPSD，一种非对称的交替框架，同时自适应地调整两种策略。学生首先从特权教师中学习。随后，教师在同一条学生轨迹上向更新后的学生分布靠拢。这一更新使后续监督能够响应学习者，并且不需要再次 rollout。在 Qwen3-8B 的非思考模式下，DualOPSD 在 AIME 2024、AIME 2025 和 HMMT 2025 上分别比 OPSD 将 avg@12 提高了 23.61、13.89 和 10.00 个百分点。1.7B 和 4B 的结果表明，准确率提升取决于模型规模。在这三种规模下，DualOPSD 都减少了截断。4B 的诊断结果还显示，教师和学生之间两个方向的 KL 都更低。