你的计算机操作代理所说的“现在”意味着什么？过时的屏幕截图、页面加载，以及点击前应运行哪项检查

计算机操作代理根据一张屏幕截图规划数秒，然后点击屏幕上的某个位置；如果此期间页面发生变化，点击就会落在非预期元素上。以往研究将规划间隔视为这一风险的来源。我们在 31 个公开网页上测量了规划中的点击，发现风险在于页面加载：在完全加载的页面上规划的点击，30 秒内仅有 0.4% 变得过时；而在页面打开后的第一秒内规划的点击中，这一比例为 17%。在这些页面上，等待约一秒钟让网络活动停止，就能消除大部分风险；然而，10 个广泛使用的开源代理中，有 8 个的等待规则仍会使超过 1% 的点击过时。商业页面的加载时间更长：在 HTTP Archive 的公开抓取数据中，65 个桌面端预订和购买首页中，只有 15% 在其 HTML 被解析后的 3 秒内出现持续 500 毫秒没有网络请求的情况；而 3,028 个 .gov 页面中这一比例为 63%。此外，在最长等待 3 秒的网络空闲等待结束后的 6.5 秒内，52% 的商业页面发生了布局变化，而 .gov 页面中这一比例为 8%（在完整记录的页面中分别为 61% 和 26%）。在需要点击前检查的场景中，例如执行不可逆操作之前，以及页面仍在加载时，像素比较能够以八分之一的延迟达到与 frontier vision-language model 同等准确的目标位置验证效果；而 4B model 在验证前一个操作是否成功方面，能够达到 frontier model 的水平。我们发布了一个基准生成器、一个用于判断何时检查值得进行的盈亏平衡公式，以及面向代理开发者的三条规则：https://github.com/multimodal-ai-engineering/preflight-bench