GUI-JEPA：候选动作条件化的 JEPA 潜变量作为移动 GUI 智能体的快速动作策略

移动 GUI 智能体通常是经过微调的 7B 规模视觉语言模型（VLM），以文本形式生成每个动作。然而，这些 VLM 需要逐个 token 解码每个动作；即使是对候选动作进行评分的智能体，也仍需让大型语言模型或 VLM 参与其中，因此速度慢且占用大量内存。为解决这些问题，我们提出了 GUI-JEPA。据我们所知，这是首个构建于联合嵌入预测架构（Joint-Embedding Predictive Architecture，JEPA）之上的无解码器 GUI 智能体策略。该策略在使用未标注 GUI 截图预训练的 JEPA 编码器的潜空间中选择动作。其动作与区域条件化的潜变量预测器将屏幕潜变量转换为每个候选动作对应的一个潜变量，使轻量级评分头能够在一次批处理前向计算中，将所有候选动作与指令进行匹配评分，而无需解码任何 token。我们进一步表明，评分器依赖于这一潜变量路径，并且预测器是针对决策本身进行训练的：随机初始化的预测器与在屏幕动态上预训练的预测器表现同样出色。在 AndroidControl 上，与我们使用相同输入微调的 Qwen2.5-VL-7B 智能体相比，GUI-JEPA 在同一 GPU 上的速度提升了 2.8–4.0 倍，同时仅使用其 6% 的参数量，达到其分布内准确率的 86–92%。代码可在 https://github.com/bcwang-sjtu/GUI-JEPA 获取。