用于 Web Agent 的判别式世界模型

近期的 web agent 使用世界模型进行测试时的动作选择：通过采样候选动作、预测由此产生的 web 状态，并用 ranker model 或 Process Reward Model (PRM) 对其排序。这些世界模型通常通过监督式下一状态预测进行训练，以生成固定表示，例如 HTML 或 AXTree 快照。然而，这一目标与下游 ranker 并不一致，因为 ranker 依赖于预测状态在不同候选之间具有可区分性，从而准确打分。为了解决这一问题，我们提出了 predicted-state matching，这是一种训练目标，要求预测表示必须将真实产生的状态与由其他动作到达的状态区分开来。我们使用一个分支式 web-agent 数据集训练这些模型，该数据集由 WebArena Go-Browse 轨迹构成，其中每个决策点都包含多个备选动作及其对应的结果状态。我们在留出的 predicted-state matching 基准上的实验表明，我们的方法优于使用监督式下一状态预测训练的 world model。我们进一步表明，与仅基于动作的 PRM 以及结合了监督式下一状态 world model 的 PRM 相比，我们的方法在 WebPRMBench 上提升了基于 PRM 风格的动作排序效果。最后，在 WebArena-Lite 上，使用我们的 world model 进行测试时动作选择能够提升端到端任务成功率。我们的项目主页见：https://dhruvpendharkar.github.io/dwm/。