Self-Retrospection Distillation：将事后经验转化为事前预见

arXiv:2610.08077v1 公告类型：交叉收录 摘要：基于可验证奖励的强化学习（RLVR）主要通过交互后的标量结果奖励，将智能体经验转化为学习信号。然而，对于组相对目标，当所有 rollout 都获得相同奖励时，这一信号便会消失，尽管这些轨迹可能揭示有关任务要求及智能体失败方式的有用信息。我们提出一个互补性问题：后见之明能否教会智能体在行动前预见本可预料的事情？我们引入了前瞻学习，利用事后经验监督基于交互前视角作出的预见性预测，并以 Self-Retrospection Distillation（SRD）将其具体实现。直观而言，一条完整轨迹揭示了原本有用的知识和应当避免的陷阱；SRD 将这种具有特权信息的后见之明，蒸馏为同一策略在不查看轨迹的情况下形成的预见。预见仅作为训练目标，无须在推理时显式生成。在 10 项工具集成推理和长程智能体任务中，SRD 与 RLVR 及自蒸馏基线形成互补，带来最高 $24.2$ 个百分点的提升。当奖励对比稀缺时，其优势尤为显著：在不同模型规模下，$37$--$98\%$ 的 rollout 组内奖励完全相同，但 SRD 仍能从采样轨迹中提取学习信号。在 2B 设置下，$98\%$ 的组内尝试全部失败，RLVR 训练最终得到的成功率为 $0.0\%$，而在相同 rollout 预算下加入 SRD 后，成功率达到 $60.6\%$。我们的结果表明，智能体的事后经验不仅可用于评估或改进行为，还可用于在交互发生之前塑造预测性表征。