AdvSim2Real：在 Web 世界模型中针对自适应提示注入训练 Web 代理

Web 代理通过读取和操作第三方编写的页面来完成用户请求，因此，植入页面中的指令可能会将代理引向偏离用户目标的方向。代理不能简单地忽略页面，因为页面同时包含任务所需的数据和控件。当前的防御方法会让代理针对训练前固定的注入进行微调，而能够适应已训练模型的攻击者可以绕过这些防御。对抗训练允许攻击者进行适应，但会固定任务，因此代理一旦解决某项任务，该任务就不再具有教学作用。我们提出了 AdvSim2Real，它在一个冻结的 Web 世界模型中，让任务课程、注入攻击者和代理共同演化。对于代理约有一半概率能够解决的任务，任务课程会获得奖励；而攻击者只有在实现成功翻转时才会获得奖励，即通过注入将一次经评判为成功的执行变为失败。模拟器中的训练使 4B 代理具备更强的能力和更高的鲁棒性：无论有无攻击，其完成率都会提升；面对训练期间从未接触过的前沿模型攻击者时仍能保持性能；其能力增益也能迁移到真实浏览器上。在 150 项 Web 任务中，相较于基础代理，AdvSim2Real 使代理在这一未见过的攻击者下的完成率提升了 33.6\%。