arXiv cs.AI精选78

Jev-Mobile:Jev 作为移动端 GUI 智能体的执行器

Jev-Mobile: Jev as an Executor for Mobile GUI Agents

· 19天前

精选理由

介绍一种让移动端GUI智能体以更低成本、更快速度完成任务的方法。

AI 摘要

视觉语言模型(VLM)已成为自主移动端 GUI 智能体的常用基础,但现有大多数系统几乎在每个交互步骤中都依赖 VLM 同时进行规划和动作落地,从而带来显著的延迟和模型服务成本。我们提出了 Jev-Mobile,将这一范式转变为低频 VLM 规划与高频轻量级执行:VLM 指定局部目标,无障碍树定义结构化的可执行动作空间,而 Jev 这一快速的类型化决策模型则在该空间内反复选择动作。这种设计允许在单次 VLM 决策下执行多个 GUI 动作,在保留自适应交互能力的同时减少昂贵的 VLM 推理。在完整的 AndroidWorld 任务套件上,Jev-Mobile 的任务成功率达到 79%,而 SeeAct-V 和 Step-wise VLM 基线分别为 78% 和 84%。在成功轨迹中,与 Step-wise VLM 相比,其端到端平均执行时间减少了 32.7%,模型 API 平均成本降低了 73.4%。这些结果表明,将高层 VLM 推理与低层动作执行解耦,可以在保持具有竞争力的任务性能的同时,显著提升移动端 GUI 智能体的效率。

查看原文(arXiv cs.AI)