双模态多阶段对抗安全训练：增强多模态网页智能体对跨模态攻击的鲁棒性
Dual-Modality Multi-Stage Adversarial Safety Training: Robustifying Multimodal Web Agents Against Cross-Modal Attacks
精选理由
提出多阶段对抗训练框架，提升多模态网页智能体抵御跨模态攻击的能力，并在未见任务中降低攻击成功率、提高任务完成率。
AI 摘要
arXiv:2603.04364v2 公告类型：替换 摘要：同时处理屏幕截图和无障碍树的多模态网页智能体正日益广泛地用于与网页界面交互，但其双流架构也暴露出一个尚未得到充分研究的攻击面：攻击者向网页 DOM 注入内容，即可通过一致的欺骗性叙事同时污染两个观测通道。我们在 MiniWob++ 上开展的漏洞分析表明，包含视觉成分的攻击效果远超纯文本注入，揭示了以文本为中心的 VLM 安全训练存在关键缺陷。基于这一发现，我们提出双模态多阶段对抗安全训练（DMAST）框架，将智能体与攻击者的交互形式化为双参与方一般和马尔可夫博弈，并通过三阶段流程对双方进行联合训练：（1）向强大的教师模型进行模仿学习；（2）采用预言机引导的监督微调，利用一种新颖的零回应策略，使模型在对抗性噪声下仍能进行以任务为中心的推理；（3）通过群组相对策略优化（GRPO）自博弈开展对抗强化学习。在分布外任务上，DMAST 将攻击成功率降低了近一半（41.2%→21.4%），同时使任务完成率相对提升超过 60%（6.2%→10.2%）。我们的方法优于现有的基于训练的防御方法，并可与基于提示的防御方法互补，展现了实质性的协同进化进展，以及对复杂、未见环境的稳健泛化能力。代码已公开：https://github.com/huajianduzhuo-code/DMAST_official。