只会评分的特权教师无法搜索：面向推理的批评条件化同策略自蒸馏

同策略自蒸馏有望用密集的词元级信用分配取代可验证奖励强化学习中的稀疏结果信号：以参考解答为条件的教师对学生自身生成的轨迹进行评分，再将由此产生的分布偏移蒸馏回策略。我们研究这种评分信号是否真正包含纠错性的信用分配。利用学生生成轨迹中人工标注的错误片段，我们检验自蒸馏目标所使用的两种信号——全分布 KL 和词元对数比——是否具备两项性质：能否定位错误，以及能否降低错误学生词元的概率。它们既不具备这两项性质，也无法可靠地区分同一道题的正确与错误轨迹。我们认为，这种失败是结构性的：在推理轨迹中定位错误本身就是一个搜索问题，而评分教师从未被明确要求执行这种搜索。当允许同一个模型在拥有相同特权信息的情况下生成批评时，它定位错误的能力会显著提升。这促使我们提出\emph{批评条件化自蒸馏}：先对当前轨迹生成批评，再让评分教师以该批评为条件进行评分。由此得到的信号能够定位错误，在错误片段内发挥纠错作用，并将概率转移至引发回溯的词元，例如“等等”“但是”和“实际上”。我们进一步表明，批评在测试时和冷启动 GRPO 中都有用：在测试时，将批评纳入上下文后继续生成原本错误的轨迹，可以解出模型仅靠采样无法解决的数学题；在冷启动 GRPO 中，对于仅凭可验证奖励无法提供优势信号的提示，批评能够提供这样的信号。