从局部技能到长时程 Web 任务：面向 LLM Web 智能体的渐进式技能探索

大语言模型（LLM）正推动自主智能体走向真实世界环境，其中 Web 已成为最具代表性的交互场景之一。然而，通过朴素探索训练 Web 智能体仍面临挑战：成功轨迹十分稀少，且稀疏的终局奖励使智能体难以从失败轨迹中获得有用的反馈。受技能习得理论启发，我们提出了技能组合式渐进探索（SCOPE），这是一种面向长时程 Web 智能体的由短到长学习框架，将复杂任务的探索分解为从局部技能到完整任务求解能力的逐步扩展过程。具体而言，SCOPE 围绕局部技能进行迭代探索：技能发现从历史执行轨迹中提取可复用的局部技能和失败经验；技能编排将已发现的技能组合成高层技能链；技能扩展则利用与当前技能链相匹配的失败经验，引导智能体探索新的子技能。通过这一过程，SCOPE 在多次轨迹采样中逐步构建能够完成任务的技能链，并通过智能体同策略蒸馏将其内化到策略参数中。在 WebArena、WebVoyager 和 WebShop 上开展的大量实验表明，SCOPE 能够持续改善探索动态，并在各项设置下相较于最强基线取得 3.9% 至 18.6% 的相对提升。