CUA-Universe：一个面向混合 GUI+CLI 智能体的可扩展动态环境

computer-use 智能体已在 OSWorld 和 AndroidWorld 等基准上取得进展，但它们仍然主要通过 GUI 进行操作，往往会产生低效的轨迹。真实世界的计算机工作是混合式的，结合了视觉状态检查与精确、高吞吐量的命令行操作，因此有能力的智能体必须在共享的应用状态上协调这两种模态。然而，可扩展的混合环境仍然稀缺，因为要在真实应用上同时支持 GUI 和 CLI，通常需要针对每个应用进行大量手工工程。现有智能体在互补使用这两种接口方面也表现不佳：原生 CLI 智能体缺乏对涉及界面状态或布局任务的视觉感知，而原生 GUI 智能体在更适合通过命令执行的操作上效率较低。我们提出 CUA-Universe，这是一条可扩展的环境到数据流水线，可将真实桌面软件转化为混合 GUI+CLI 环境。App-Forge 将应用适配为可复现的 VM 和其发现、封装或生成的命令行界面，扩展到 16 个应用；Task-Weave 基于种子文件上的可复用操作，合成难度可控的多样化混合任务；Path-Steer 沿高效的混合路径引导 rollout，并收集经过验证的轨迹用于后训练。在这些数据上训练后，模型行为从低效的 GUI 交互和脆弱的 CLI 脚本编写，转向有效的 GUI+CLI 协同。我们的 9B 模型在 CUA-Verse 上同时提升了成功率和效率（Score +39.3 分；步数 -37%；tokens -60%），在 OSWorld 上（SR +16.8 分；步数 -57%；tokens -44%），以及在 OSWorld-MCP 上（Score +7.84 分；步数 -27%；tokens -30%）。CUA-Universe 为构建更有能力、更高效的 computer-use 智能体提供了一条可扩展路径。