JarvisGUI：迈向具备动态任务组合能力的跨设备 GUI 智能体

现实世界中的 GUI 使用通常涉及跨越多个设备和平台的工作流，需要传递中间结果、维护共享状态，并在异构环境之间进行协调。然而，现有的 GUI 基准测试绝大多数仅评估智能体在单一设备上执行静态定义的任务，因此基本未考察这类跨设备能力，导致对智能体是否已具备现实世界使用条件的评估过于乐观。我们推出 JarvisGUI，这是一个动态基准，用于评估 GUI 智能体在跨设备工作流中的表现；这类工作流要求在包括 Android、Windows 和 Ubuntu 在内的异构平台之间进行协同交互。具体而言，JarvisGUI 在轻量级类型系统下将 GUI 任务表示为输入-输出转换，从而能够自动组合多步骤、跨设备的工作流，并在统一框架内动态评估智能体性能。通过在覆盖多个操作系统的虚拟环境中评估智能体，JarvisGUI 揭示出，当前最先进的开源 GUI 智能体在现实世界工作流所需的状态转移感知能力、跨平台上下文推理能力以及长时程依赖管理能力方面存在明显不足，暴露出一个现有基准测试无法发现的关键能力缺口。