Self-Retrospection Distillation:将事后经验转化为事前预见
Self-Retrospection Distillation: Turning Post-hoc Experiences into Prior Foresight
精选理由
将事后轨迹转化为事前预判信号,缓解奖励稀疏并显著提升智能体长程任务成功率
AI 摘要
带可验证奖励的强化学习(RLVR)主要通过交互后的标量结果奖励,将智能体经验转化为学习信号。然而,对于组相对目标而言,当所有 rollout 获得相同奖励时,即使这些轨迹可能揭示任务要求以及智能体失败的方式,这一信号仍会消失。我们提出了一个互补性问题:事后经验能否教会智能体在行动前预见本可预料的结果?我们引入了前瞻学习,它利用事后经验,从交互前的视角监督前瞻预测,并通过 Self-Retrospection Distillation(SRD)加以实现。直观而言,一条已完成的轨迹揭示了原本可能有用的知识,以及应当避免的陷阱;SRD 将这种特权式的事后信息蒸馏为同一策略在不观察轨迹情况下的前瞻能力。前瞻能力仅作为训练目标,在推理时无需显式生成。在 10 项集成工具的推理任务和长时程智能体任务中,SRD 与 RLVR 及自蒸馏基线互补,最高带来 24.2 个百分点的提升。当奖励对比稀缺时,其优势尤为明显:在不同模型规模下,37%—98% 的 rollout 组内奖励完全一致,但 SRD 仍能从采样轨迹中利用学习信号。在 2B 设置中,98% 的组均为全失败,RLVR 训练最终成功率为 0.0%,而在相同 rollout 预算下加入 SRD 后,成功率达到 60.6%。我们的结果表明,智能体的事后经验不仅可用于评估或改进行为,也可用于在交互机会到来之前塑造预测性表征。