arXiv cs.AI精选81

GUIFlow:面向 GUI Agent 的时间冗余感知增量推理

GUIFlow: Temporal Redundancy-Aware Incremental Inference for GUI Agents

· 21小时前

精选理由

跨步骤复用视觉语言计算,最高提速3.49倍,显著降低GUI智能体交互成本。

AI 摘要

基于视觉语言模型的 GUI Agent 与持续演化的界面进行交互,然而,传统推理会反复计算大量重叠观测和历史记录的表示。这种不匹配使多步交互成本高昂,同时上下文、界面内容和操作参数的变化也阻碍了缓存的直接复用。我们提出 GUIFlow,一种面向多图像 GUI 交互的全流程增量推理框架。我们的核心洞见是,推进决策并不需要重建所有支撑表示:每个交互步骤都可以选择性地更新跨整个轨迹维护的计算状态。为支持上下文演化过程中的新决策,GUIFlow 会调整历史计算的复用方式:对历史 KV 状态进行位置对齐,并将其注入当前上下文;变化信号引导视觉编码器和语言模型对当前观测状态进行选择性更新;此前的操作响应则作为由目标模型验证的推测性草稿。通过这些机制,GUIFlow 能够在视觉编码、预填充和解码的整个流程中实现跨步骤复用,无需额外训练、单独的草稿模型,也无需更改模型可见的输入和操作接口。实验表明,在离线多图像基准测试中,几何平均加速比最高可达 3.39 倍;在 OSWorld 上进行在线闭环交互时,加速比最高可达 3.49 倍,同时任务性能总体上与密集基线相当。

查看原文(arXiv cs.AI)