State-OPD：面向多轮智能体的基于状态的同策略蒸馏

arXiv:2610.13238v1 公告类型：新论文 摘要：同策略蒸馏（OPD）已成为将前沿模型的推理能力迁移至较小模型的强大范式，但将其成功推广到多轮智能体环境仍面临挑战。我们从交互状态的角度研究智能体 OPD，将客观任务和已执行的动作—观测记录与学生模型推理的内部语义轨迹区分开来。通过这一视角，我们发现学生模型推理在多轮 OPD 中具有两种作用：先前的推理会扭曲教师模型的监督信号，而当前的推理则会影响在同一状态下采样得到的候选动作。具体而言，在匹配的交互状态下，移除学生模型先前的推理可以提高教师模型的后续执行成功率，并改变教师模型的词元级目标，且在较后轮次中，后续执行成功率的提升更大。同时，与在固定推理轨迹下重新采样动作相比，重新采样完整的推理—动作响应能在同一状态下产生更多样的动作。我们提出基于状态的同策略蒸馏框架，将教师模型的监督建立在交互状态之上，并重新分配采样预算，在响应熵较高的状态下生成多个完整的推理—动作响应，同时保留学生模型基于完整历史的生成方式。在 ALFWorld、ScienceWorld 和 WebShop 上的全面评估表明，无论采用 Qwen3-1.7B 还是 Qwen3-4B 作为学生模型，State-OPD 在所评估的方法中均取得了最高的宏平均成功率。值得注意的是，对于 Qwen3-4B，State-OPD 将宏平均成功率从最强基线的 26.07\% 提高至 31.74\%，并在 ALFWorld Seen 上超越了其教师模型 Qwen3-32B。进一步分析表明，State-OPD 使用更少的受监督轮次响应即可取得更高的任务成功率，并显著减少对失败动作的持续重复；定性轨迹展示了基于交互反馈进行的决策修正。