PivotOPD：学习从多轮智能体中的关键错误中恢复

在策略蒸馏（OPD）是一种很有前景的语言智能体训练方法，它能够针对学生模型生成的轨迹提供密集的教师监督。然而，在多轮交互中，一个错误动作会改变学生模型之后所遇到的状态，因此错误会跨轮次累积。在针对三个 Qwen3 模型（8B 至 235B）的初步实验中，我们发现，超过半数的失败轨迹都包含一个关键错误，即使智能体进一步偏离任务完成目标的动作，而且这一错误通常很早就会发生。这些关键错误往往仍然可以恢复：在关键错误发生后的几轮中引导模型，就能重新取得任务成功。因此，我们提出 PivotOPD，一种在策略蒸馏框架，联合训练学生模型以避免关键错误，并从这些错误所导致的状态中恢复。在每次关键错误发生时，教师模型会提供一个标准动作，并在接下来的几轮中分别指定一个恢复动作。预防性蒸馏使用标准动作结合反向 KL 散度，引导学生模型避开关键错误；恢复性蒸馏则使用恢复动作结合正向 KL 散度，将学生模型很少采样到的恢复行为传递给它。在 ALFWorld、WebShop 和基于搜索的问答任务上与 13 个基线方法的比较中，PivotOPD 在 Qwen3-1.7B 和 Qwen3-8B 学生模型上都取得了最强的平均性能；对于 1.7B 学生模型，其在 ALFWorld 上的性能较最强基线提升了 5.5%。这些增益也能迁移到软件工程领域的另一模型系列：在 SWE-Bench Verified 上，PivotOPD 将 Nemotron-3.5 学生模型的解决率提高了 3.2%。项目主页：https://research.nvidia.com/labs/lpr/pivotopd/