DeskForge：来自桌面环境的计算机使用代理密集监督

arXiv:2610.02320v1 公告类型：cross 摘要：计算机使用代理需要在复杂的桌面场景中可靠地定位操作目标，因为多个应用程序、相互重叠的窗口以及视觉上相似的控件会争夺注意力。现有训练数据很少将此类场景与密集标注配对，也很少以可控方式改变这些场景。我们提出 DeskForge，这是一种可控的桌面环境，通过组合并探索真实应用程序，为计算机使用代理生成大规模监督数据。该环境能够改变应用程序状态、内容、窗口布局、外观和分辨率，并将屏幕截图、可访问性树和窗口几何信息融合为密集的元素标注，同时记录每次执行操作的结果。借助该环境，我们构建了 DeskForge-1M，这是一个包含 120 万条已标注桌面观测和 1.597 亿个元素实例的语料库。我们从 DeskForge-1M 中抽取 20 万个定位示例，用于微调四个视觉语言模型。四个模型在留出的桌面条件下以及全部五个外部 GUI 定位基准测试中均得到提升；对于 Qwen3.5-4B，其在 ScreenSpot-Pro 上的准确率提高了 11.51 个百分点，在 OSWorld-G 上提高了 10.11 个百分点。这些提升也转化为长时程任务完成能力的提升：在固定规划器下，微调后的操作模型能够完成更多 WebArena-Infinity 和 OpenApps 任务，其中 Qwen3.5-4B 分别将完成数量从 119 个任务中的 31 个提升至 50 个，以及从 100 个任务中的 3 个提升至 15 个。结果表明，对真实桌面环境进行可控组合能够为提升 GUI 定位能力和长时程计算机使用能力提供一种可扩展的监督来源。框架代码、数据集和微调后的模型可从项目页面获取：https://saidgurbuz.github.io/deskforge/