语言智能体的行动与预测协同演进

训练语言智能体的瓶颈在于长时程轨迹采样的高昂成本，然而标准的智能体强化学习（RL）仅从终局标量奖励中学习，使中间步骤中的监督信息大多未被利用。已有研究通过估计逐步成功概率的价值目标，或拟合环境响应的观测目标来利用这些监督信息。但这两类目标都难以有效构建：（1）轨迹中各步骤的价值目标均来自同一个标量信号；（2）网页和终端日志等观测目标冗长且噪声较多，并且仅涵盖未来一步。我们提出 \name，引入第三类目标：多步动作目标。在由当前策略生成的成功轨迹上，\name 训练策略骨干网络，使其生成每段历史之后的动作序列。每个动作在基于此前各段历史进行预测时也会受到监督，从而形成一种时间集成，在训练过程中被共享骨干网络吸收，使行动与预测得以协同演进。推理时，策略仍然每次只执行一步动作，不产生额外开销。在五个基准测试（ALFWorld、ScienceWorld、WebShop、$τ^2$-bench 和 AppWorld）中，\name（1）在模拟环境中的综合表现优于 GRPO 以及采用预测性辅助目标的 RL 基线，同时在两个真实应用环境中均提升了整体表现；（2）在 ScienceWorld 上，样本效率最高分别达到 ECHO 和 GRPO 的 $1.9\times$ 和 $2.0\times$；（3）仅使用单个策略骨干网络便实现了这些提升，无需额外模型、单独预训练或推理开销。代码库已公开：https://github.com/ulab-uiuc/CoPE。