引导教师：改进思考模型的同策略自蒸馏

同策略自蒸馏（OPSD）利用以参考内容为条件、由同一模型初始化的教师提供词元级监督，在学生自身的推理轨迹上训练学生。然而，能够访问参考内容可能诱发教师产生损害思考模型独立推理能力的行为，导致参考幻觉，即学生引用其无法获取的参考内容来论证推理步骤的合理性，以及重新思考抑制，即教师不鼓励在不确定的步骤进行验证和修正。我们提出 Steered-Teacher OPSD（ST-OPSD），通过激活引导同时解决这两种失效模式。ST-OPSD 从模型生成的推理轨迹中提取两个方向，并在计算蒸馏目标时将其应用于教师的隐藏状态，抑制援引参考内容的行为，并结合标记族校准来鼓励重新思考。学生从由此得到的教师分布中学习，而自身不接受引导。在 AIME 和 HMMT 上的实验表明，相较于原始 OPSD 和其他干预方法，ST-OPSD 提高了准确率，同时将重新思考率和参考幻觉率恢复至基础模型的水平。