VeriCUA：面向计算机使用代理的智能体式探索验证

在桌面、移动端和 Web 环境中构建并扩展计算机使用代理（CUA），需要可靠的任务完成验证，以支持数据整理、评估和强化学习。典型的自动化方法会提示视觉语言模型（VLM）判断操作轨迹，或生成程序来检查应用程序状态。然而，这两类方法都依赖对复杂数字环境的不完整视图。VLM 评判器受限于所提供的观测，而生成的程序则依赖可访问的状态。这些视图可能遗漏决定性证据，或导致完成判断缺乏依据。针对不同平台和访问设置分别定制验证器，还会增加额外的工程成本。我们提出 VeriCUA，一个通过智能体式探索进行验证、与平台无关的框架。该框架将验证视为动态的证据收集与评估，并在不同平台和观测模态下，为在线和离线场景采用统一流程。验证器首先检查可用上下文以构建任务评估标准，然后针对尚未解决的要求选择 GUI 检查或代码检查，并依据明确的证据规则综合这些检查结果。实验表明，在这些设置下，与对比基线相比，该方法与参考标签的一致性更高；其中，离线场景在困难案例上的提升最大，在线场景则更能拒绝虚假的完成声明。进一步分析表明，这些提升源于互补证据和测试时探索。