arXiv cs.AI精选82

ASIL:用结构化状态和语义动作取代截图点击

ASIL: Replacing Screenshot-and-Click with Structured State and Semantic Actions

· 47天前

精选理由

揭示结构化软件接口可显著提升AI操作效率

AI 摘要

强大的代码智能体可以执行脚本、调用工具并管理文件,但许多重要应用仍主要通过图形用户界面访问。我们认为,截图点击对于操作软件的智能体来说是一种低效接口:截图无法完整反映状态,而 GUI 操作脆弱、语义弱,并且与长程规划并不匹配。我们提出 ASIL(Agent-Software Interaction Layer),一种智能体原生接口,通过结构化 JSON 观察和可由代码执行的语义动作来暴露软件,并针对每个应用采用所能实现的最深访问路径。我们在 15 个应用上实现了 ASIL,并在一个包含 300 个单应用任务和 80 个多应用任务的基准上进行了评测。ASIL 在闭源模型上得分超过 80,且每个任务执行的动作少于 5 次。在修复后的运行时和 50 步截图预算下,同样的任务在截图点击控制下仅获得 6.6 和 26.6 的严格成功率,在更容易、可与 OSWorld 相比的区间上则提升到 15.0 和 53.3。与匹配任务上的应用原生接口相比,ASIL 比 LibreOffice 的 UNO API 高出 28-38 个严格分,但与 draw.io 的 MCP 内容契约仅持平。这种结构化模态也适合训练:小规模 SFT 将 Qwen3.5-2B 从 58.0 提升到 72.1,将 Qwen3.5-9B 从 66.6 提升到 80.4,而资源受限的 on-policy RL 进一步将它们提升到 74.4 和 82.2。

查看原文(arXiv cs.AI)