从想象到行动:通过用于可扩展 GUI Agent 训练的图像编辑世界模型合成高保真数据
Imagine to Act: High-Fidelity Data Synthesis via Image Editing World Model for Scalable GUI Agent Training
精选理由
提出像素级GUI数据合成方法,提升智能体泛化能力与操作成功率。
AI 摘要
图形用户界面(GUI)Agent 已成为跨多种应用自动化复杂数字工作流的一种前景广阔的范式。然而,训练能力强大且具备良好泛化性的 Agent,从根本上依赖海量、高保真的视觉-动作轨迹,而这类轨迹极难获取。人工演示难以规模化,而现有的 GUI 世界模型依赖文本描述或 HTML 渲染,舍弃了图标和布局样式等关键的像素级视觉细节。为解决这一问题,我们提出 Infinite-Dreamer,这是一种由像素级图像编辑世界模型驱动的、无需仿真的数据合成方法。通过将 GUI 状态转换视为图像编辑任务,我们利用视觉语言模型(VLMs)将动作引起的 UI 变化描述为结构化的差异文本(delta-text)。随后,我们对图像编辑骨干模型进行微调,以可控地合成逼真的屏幕截图转换。我们利用该模型生成单帧视觉鲁棒性数据和多步想象轨迹。为验证方法的有效性,我们仅使用合成数据对 Qwen3-VL 基线进行微调,得到 Infinite-Actor,并在 AndroidWorld、MobileWorld 和 AndroidControl-Curated 基准上进行评估。Infinite-Actor 在不同规模下均持续优于 Qwen3-VL 基线:Infinite-Actor-8B 将 AndroidWorld 的 Pass@1 提升了 4.45,并使 MobileWorld 的 Pass@3 成功率接近翻倍;Infinite-Actor-2B 则将 Pass@1 提升了 9.05。代码可在 https://github.com/swaydy-n/Infinite-Dreamer 获取。