通过批评引导的同策略蒸馏恢复可靠监督

同策略蒸馏（OPD）利用教师模型提供的词元级监督，在学生模型自身生成的轨迹上训练学生模型，其前提是教师模型能够从学生模型写出的任意前缀出发得出正确答案。我们将这一性质称为教师模型的可恢复性，并表明它在错误轨迹上并不成立：教师模型虽然能识别学生模型的错误，却仍会沿着这些错误继续生成。我们提出 CriticOPD，利用错误识别来恢复可恢复性。教师模型对错误轨迹进行批评，使学生模型能够重写出错后的解答部分。教师模型对包含批评这一特权信息的最终输出进行评分，而学生模型则使用不含批评的修订版进行训练。在两个 Qwen3 学生模型和六个数学推理基准上的实验表明，CriticOPD 优于 OPD，其中在竞赛题上的提升最大。