BLPO：面向长时程 LLM 智能体的超局部策略优化

长时程任务要求大语言模型（LLM）智能体协调相互依赖的动作，这一能力是实现复杂工作流自动化的关键。逐步、基于组的强化学习比轨迹级监督提供了更细粒度的信用分配，但可靠的比较必须考虑交互历史的差异。在每个任务有限的 rollout 内强制保持这种一致性，可能导致用于估计动作偏好的依据不足。我们提出超局部策略优化（BLPO），利用跨任务和跨训练更新共享的经验，估计任务进展优势。我们将轨迹前缀概括为任务进展状态，并按功能对动作进行抽象，使不同任务中的对应决策能够共同用于共享估计。为控制异质任务带来的偏差和噪声，我们采用均衡聚合与可靠性加权，在全局记忆中累积相对于上下文的回报。这些全局优势与基于归一化动作的局部比较及轨迹级信用分配形成互补，无需学习评价器或增加 rollout。在 ALFWorld 和 WebShop 上使用 1.5B 和 7B 规模策略进行的实验表明，在相同训练预算下，该方法的任务成功率优于所评估的基线。进一步分析表明，该方法学习更快、轨迹更短，且几乎不增加计算开销。