arXiv cs.AI精选77

CUA-Master:通过开放世界递归改进扩展计算机使用智能体

CUA-Master: Scaling Computer-use Agents through Open-World Recursive Improvements

· 20小时前

精选理由

提出开放世界双循环改进框架,提升电脑操作智能体的数据合成效率、可靠性与跨基准表现。

AI 摘要

尽管计算机使用智能体(CUA)近期取得了进展,其发展仍受限于交互数据的多样性、可控性和可靠性不足。此外,传统优化流程缺乏迭代反馈,而现有递归改进方法往往依赖自生成经验,限制了能力扩展,并导致收益递减。为应对这些挑战,我们提出 CUA-Master,一种嵌套双循环递归改进框架。在系统层面,外层的“世界—数据—模型”飞轮持续引入开放世界语料,并利用模型不断变化的薄弱环节,指导后续的数据构建与优化迭代。在数据层面,内层飞轮将开放世界种子挖掘与自催化传播相结合。前者从教学视频中挖掘真实工作流程作为种子任务,并采用视觉—语义双路径轨迹重建;后者将这些种子转化为可复用的原语,以可控方式合成多样、复杂且可验证的任务。为实现高效、可靠的轨迹采集,我们进一步在多种真实环境中引入反馈引导的快照回滚重试机制。广泛的实验表明,CUA-Master-27B 在纯 GUI 和 GUI-CLI 混合基准测试中均取得了具有竞争力的表现,在 OSWorld Verified、OSWorld 2.0、WeaveBench 和 Agents' Last Exam 上分别获得 80.2、36.9、43.9 和 25.0 分。我们的框架还显著提升了数据合成的质量与效率,并在递归迭代过程中展现出持续增益。

查看原文(arXiv cs.AI)