AdvSim2Real：在 Web 世界模型中训练 Web 智能体以抵御自适应提示注入

arXiv:2610.08773v1 公告类型：交叉收录 摘要：Web 智能体通过读取第三方编写的页面并在其上执行操作来完成用户请求，因此，植入页面的指令可能使智能体偏离用户目标。智能体不能简单地忽略页面，因为页面也包含任务所需的数值和控件。现有防御方法使用训练前就已固定的注入内容对智能体进行微调，而针对训练后模型进行自适应调整的攻击者能够绕过这些防御。对抗训练允许攻击者自适应调整，但任务保持不变，因此，一旦智能体解决了某项任务，该任务就不再提供学习价值。我们提出 AdvSim2Real，在一个冻结的 Web 世界模型中，使任务课程、注入攻击者和智能体共同演化。当智能体完成某项任务的概率约为一半时，任务课程会获得奖励；而注入攻击者仅在实现成功状态翻转时获得奖励，即通过注入将原本被判定为成功的结果变为失败。在模拟器中训练使一个 4B 智能体的能力和鲁棒性均得到提升：无论有无攻击，其任务完成率都得到提高；面对训练中从未遇到过的前沿模型攻击者，它仍能保持这种提升；其能力增益也能迁移到真实浏览器中。在 150 项 Web 任务上，面对这一未见过的攻击者，AdvSim2Real 相较于基础智能体将任务完成率提高了 33.6%。