基于图条件的在策略智能体蒸馏：来自现成教师

arXiv:2609.37522v2 公告类型：替换 摘要：在策略蒸馏（OPD）利用教师对学生生成轨迹的反馈来训练紧凑型语言智能体。在多轮任务中，累积误差可能使学生超出教师的有效监督范围。我们提出基于图条件的在策略智能体蒸馏（GC-OPD），通过执行证据丰富现成教师的评分上下文。该图按照共享状态索引教师的重复执行，同时保留完整的成功与失败历史。每次学生回合结束后，GC-OPD 会检索当前状态参考或历史替代方案，并将其与学生的事后信息结合起来，对原始思维-动作词元进行评分。使用相同的原始教师时，在 ScienceWorld（4B 学生）上，GC-OPD 将平均成功率从普通 OPD 的 24.70% 提升至 48.78%；在 ALFWorld Unseen 上从 53.36% 提升至 85.26%；在 WebShop 上从 29.10% 提升至 37.65%。在学生规模匹配的情况下，在 ScienceWorld 和 ALFWorld 上，GC-OPD 的平均成功率也高于所有使用 GRPO 训练教师的受评估 OPD 基线；其中 ScienceWorld 4B 的最强基线达到 46.66%。GC-OPD 无需针对任务优化教师。