JHiMA-WebRL：面向长时程网页任务的联合分层多智能体强化学习框架

多模态网页智能体展现出了通过图形用户界面（GUI）与网站交互的良好能力，但现实中的网页任务通常需要长时程、多步骤规划，这对于单体策略而言仍然颇具挑战。这类智能体必须同时推断高层计划、穿越中间状态、在较长的交互历史中跟踪进度，并执行具有视觉依据的操作。尽管此前的研究探索了带有独立规划器的模块化多智能体系统，但规划器通常不会与执行智能体进行联合更新。我们研究了将规划与执行明确分离并进行联合训练，是否能为长时程网页导航提供更强的归纳偏置。为此，我们提出 JHiMA-WebRL，一种面向网页智能体的联合分层多智能体强化学习框架，将任务分解器与执行智能体相结合。为了训练任务分解器，我们使用强大的教师模型，从多模态 GUI 轨迹中构建结构化子任务监督信号，并利用这些标注对任务分解器和以子任务为条件的执行智能体进行微调。随后，我们将 Group Relative Policy Optimization（GRPO）扩展到交互式 WebArena 环境中，通过分层 rollout 分组和角色特定优势函数，对任务分解器与执行智能体进行联合优化。在 WebArena-Lite-v2 上，由 7B 执行智能体和 7B 任务分解器组成的 JHiMA-WebRL-14B 达到了 37.2% 的平均成功率；相比之下，我们在相同训练任务上使用强化学习进行微调、并在相同协议下评估的 ScaleCUA-32B 智能体成功率为 24%。消融实验表明，在强化学习过程中联合更新任务分解器，优于仅更新执行智能体。这些结果表明，对于长时程网页任务，通过联合学习实现角色分解、使用更小规模的模型，可能成为扩展单体智能体规模的一种有竞争力的替代方案。