仅进行评分的特权教师无法搜索：面向推理的批评条件化在策略自蒸馏

arXiv:2610.13744v1 公告类型：cross 摘要：在策略自蒸馏有望将可验证奖励 RL 的稀疏结果信号替换为稠密的 token 级信用分配：一个以参考解为条件的教师模型对学生模型自身生成的轨迹进行评分，然后将由此产生的分布偏移蒸馏回策略中。我们研究这一评分信号是否确实包含纠正性信用。利用学生模型生成轨迹中的金标准错误片段，我们针对自蒸馏目标所使用的两种信号——完整分布 KL 和 token 对数比值——测试两个性质：它们能否定位错误，以及能否促使概率远离学生模型生成的错误 token。结果表明，这两种信号既不具备上述任一性质，也无法在同一个问题内可靠地区分正确轨迹和错误轨迹。我们认为，这种失败具有结构性：在推理轨迹中定位错误本身就是一个搜索问题，而评分教师从未被明确要求执行这一搜索。对于同一个模型，在拥有相同特权信息的情况下，如果允许其生成批评，就能更好地定位错误。这促成了\emph{批评条件化自蒸馏}：首先对当前轨迹生成批评，然后让评分教师以该批评为条件。由此产生的信号能够定位错误，在错误片段内部具有纠正作用，并会将概率推向那些启动回溯的 token，例如“Wait”、“But”和“Actually”。我们进一步表明，这种批评在测试时和冷启动 GRPO 中都很有用：在测试时，将批评置于上下文中并从错误轨迹继续生成，可以解决模型通过采样无法解决的数学问题；在冷启动 GRPO 中，它能为仅凭可验证奖励无法提供任何信号的提示提供优势信号。