IGG：可见性约束下的交互式 GUI 定位基准

GUI 定位基准考察智能体能否定位静态截图中已经可见的目标。然而，真实界面往往不符合这一假设：目标可能位于屏幕之外，仅在状态变化或悬停后才出现，持续被遮挡，或在一段延迟后才可操作。这使得恢复目标可见性的能力未能得到评估。为衡量这一使目标显现的步骤，我们提出 Interactive GUI Grounding（IGG），一个要求智能体先通过交互使目标可见、再点击目标的基准。IGG 包含分布于 16 个可控 GUI 环境中的 601 项任务，涵盖七种可见性约束子类型，并采用由滚动、移动、拖拽、等待和点击组成的精简动作空间。在我们的人类参与者研究中，参与者的准确率达到 94.6%，而 GPT-5.5 达到 79.4%，受评估的最强开源视觉语言模型（VLM）仅达到 31.6%。为确定这一差距的来源，我们开展了两项受控干预实验。告知 Qwen3-VL 应执行哪种交互，仅将其准确率从 30.8% 提升至 33.9%；而替模型执行该交互，则将其准确率提升至 81.9%。瓶颈在于执行使目标显现的交互，而非在目标显现后识别目标。我们进一步表明，这种能力可以通过学习获得，并证明目标可见性恢复能力能够在不同模型系列中得到一致提升。