WebFovea：当模型正确但点击错误——面向实时网站上基于视觉的 Web Agent 的可靠往返

arXiv:2610.03036v1 公告类型：新 摘要：我们介绍了 WebFovea，这是一种基于视觉的 Web Agent，在 WebRetriever Challenge 2026 中以 100 分中的 57.0 分获得第二名。该挑战在 WebRetriever 基准的 Protocol III（arXiv:2607.06118）上对 Agent 进行端到端评估：从实时网站上的入口 URL 开始，Agent 必须操作网站自身的界面，并返回可验证的答案。一个能力足够强的多模态大语言模型（LLM）对此是必要的，但仅有模型还不够。模型的决策要通过 harness 到达浏览器，harness 是连接模型与页面之间的代码。每一步都必须确保四件事正确完成：模型的回复必须被解析为预期的操作，操作必须在页面上生效，结果必须被准确反馈，并且必须向模型展示其所需的信息。在真实网站上，我们观察到的许多失败发生在这四个阶段之一，而不是模型的推理过程中。坐标空间不匹配导致每次点击都落在预期坐标的 3/4 处；对原生下拉菜单、iframe 内部以及文本框的操作会无提示地失败；此外，Agent 自行生成的 chat-template token 污染了 4.9% 的任务回合。WebFovea 强化了每个阶段，并在整个循环外围设置防护机制，使 Agent 始终遵守规则并控制在预算之内。这种四阶段视角并不依赖于具体模型，尽管其中一些单独的修复方案依赖于模型。由于四次提交使用的是同一个模型，我们官方隐藏集得分从 31.0 上升到 57.0，反映的是 harness 的改进，同时也包含实时网站上运行间差异所造成的波动。我们介绍了系统设计、各组件的证据（包括负面结果）、失败分析、局限性，以及包括将不同步骤路由到不同模型在内的后续路线图。