通过特权回顾式蒸馏实现自我进化智能体

arXiv:2610.27495v1 公告类型：new 摘要：自我进化智能体旨在从自身经验中不断改进，而不是在部署后保持不变；然而，自然收集的轨迹通常缺乏真实解答或由验证器提供的奖励。我们提出 Retrospective Self-Distillation (RSD)，这是一种多轮框架，通过特权回顾性上下文将此类经验转化为密集监督。对于每条在线策略轨迹，同一个底层模型同时充当学生和教师：教师在结合跨任务先例与经验、逐轮反思以及从已完成轨迹中获得的未来回溯信息的条件下，重新评估学生实际执行的动作。随后，通过在线策略自蒸馏，将得到的教师分布蒸馏回策略中。在多轮迭代过程中，经验库不断扩展，回顾性上下文持续更新，使模型、数据及其监督信号能够共同演化。我们进一步引入前沿模型引导的上下文-策略演化机制，由更强的前沿模型对特权上下文的构建方式提出受约束的修改。在 ALFWorld、ScienceWorld 和 SearchQA 上使用 Qwen3-8B 与 Qwen3-14B 进行实验时，相较基础模型，RSD 的性能最高提升 59.7%；相较固定上下文策略，前沿模型引导的上下文-策略演化机制还可带来最高 44.7% 的额外相对提升。这些结果表明，无需为核心策略更新提供真实轨迹或由验证器产生的奖励，自然积累的经验也能够转化为持久的模型能力。