面向长时程智能体强化学习的树感知后验蒸馏

arXiv:2610.23181v1 公告类型：新 摘要：带有可验证奖励的强化学习已成为大语言模型可扩展的后训练范式。然而，在长时程交互中训练智能体面临两项挑战：仅使用终端奖励会导致回合级信用分配稀疏且方差较高，而在固定 rollout 批次上进行顺序小批量更新，会随着当前策略偏离行为策略而引入策略陈旧性。现有方法通过学习型评论家、过程奖励模型或在线策略蒸馏获得更密集的信用信号，但它们依赖价值网络、步级标注或更强的外部教师，从而增加了训练复杂度。与此同时，重要性采样和裁剪能够缓解策略漂移，但无法指定一个有限目标来阻止顺序更新超调。在本文中，我们提出 TreeOPSD，一种无需评论家、具备树感知能力的后验自蒸馏框架，用于长时程智能体强化学习。TreeOPSD 将每个交互回合视为一个树节点，从共享前缀分支出不同的后续过程，并将终端奖励递归回传为隐式的回合级信用。随后，它根据相对于冻结行为策略的似然比，将每个信用映射为一个具有闭式表达且有界的教师分布。最小化该教师分布与学生策略之间的散度，可以在行为策略处的切空间上恢复策略梯度方向，同时将跨顺序小批次的更新限制在一个有限目标之内。实验证明，TreeOPSD 在多个具有竞争力的基准和模型规模上提升了智能体能力，尤其是在长时程任务中表现突出；例如，在 Deep Research 设置下，Qwen3-30B-A3B-Thinking-2507 的平均准确率相比 GRPO 提高了 4.97 个百分点。