从不断演化的错误中学习：面向在策略蒸馏的自适应迭代修复

arXiv:2610.02700v1 公告类型：新 摘要：在策略自蒸馏（OPSD）为从学生自身策略采样的轨迹提供密集的词元级反馈，相较于强化学习中的结果级奖励，这是一种更丰富的训练信号。这些反馈来自一个以完整参考解答为条件的教师，而学生无法获得该参考解答。参考解答规定了目标，却没有说明如何从学生当前的错误走向该目标，从而带来了由解答条件引发的捷径风险。我们提出 AIR-OPD，一种用于在策略蒸馏的自适应迭代修复框架，可提供从错误到修复的监督。给定一个失败的响应，指导生成器会针对当前错误综合生成修复指导。学生在该指导下进行在策略重试。如果重试仍然错误，生成器会针对新发现的错误生成新的修复指导。在每一轮中，固定教师将该指导作为特权上下文，并在学生最新失败响应中与错误对齐的区域对学生进行监督。结果感知的阶段加权机制偏重早期修复阶段，并对即时重试通过验证的阶段给予奖励。我们在 DAPO-Math-17K 数据集上训练 AIR-OPD，并在 AIME24、AIME25 和 HMMT25 上进行评估，同时在 MMLU-Pro 和 GPQA 上开展分布外测试。我们考察了两种指导来源：来自当前学生策略的自我指导，以及来自更大模型的外部指导。对于 Qwen3-4B 和 Qwen3-8B，AIR-OPD 均取得了最佳的数学推理平均成绩，相较于最强基线最高提升 3.6 分，同时保持了基础模型在分布外基准测试上的性能。