面向长时域智能体强化学习的树感知后验蒸馏

带有可验证奖励的强化学习已成为大语言模型一种可扩展的后训练范式。然而，在长时域交互中训练智能体面临两项挑战：仅使用终止奖励会导致轮次级信用分配稀疏且方差较高，而在固定 rollout 批次上进行连续的小批次更新，会随着当前策略偏离行为策略而引入策略陈旧性。现有方法通过学习型评论家、过程奖励模型或在线策略蒸馏来获得更稠密的信用信号，但它们依赖价值网络、步级标注或更强的外部教师，从而增加了训练复杂度。与此同时，重要性采样和裁剪能够缓解策略漂移，但无法指定一个有限目标来阻止连续更新越界。本文提出 TreeOPSD，一种无需评论家、具备树感知能力的后验自蒸馏框架，用于长时域智能体强化学习。TreeOPSD 将每个交互轮次视为一个树节点，从共享前缀分支出不同的后续轨迹，并递归回传终止奖励，从而获得隐式的轮次级信用。随后，它将每个信用映射为一种具有闭式表达且有界的教师分布，该分布由相对于冻结行为策略的似然比参数化。最小化该教师分布与学生策略之间的散度，可以在行为策略处以切向形式恢复策略梯度方向，同时将连续小批次更新约束在朝向有限目标的范围内。实验表明，TreeOPSD 在多个具有竞争力的基准和不同模型规模上提升了智能体能力，尤其是在长时域任务中表现突出；例如，在 Deep Research 设置下，Qwen3-30B-A3B-Thinking-2507 的平均准确率相比 GRPO 提高了 4.97 个百分点。