OSWorld-Pro：面向计算机使用代理的基于过程的评估

计算机使用代理（CUAs）的评估通常仅限于对其创建的最终交付成果（数百个步骤之后）进行评估，并采用功能验证器进行判定，如 OSWorld 所示。然而，这种对最终状态性能的评估无法透明地揭示代理在各种任务中失败的方式和原因，从而掩盖了对后续改进至关重要的洞见。例如，在键盘输入过程中出错的代理，与无法在图形化 UI 上精确执行基于点击的输入的代理，需要采用不同的缓解策略。我们推出 OSWorld-Pro：包含超过300项任务和超过2800个子目标的数据集，基于超过67,000条人工标注，实现对 CUAs 的程序化评估。我们使用与人类判断高度一致的 LLM-Judges 来评估 OSWorld-Pro 子目标的完成情况，从而揭示模型在一系列具有顺序依赖关系的子目标中所取得的进展。研究结果表明，即使是最先进的 LLM，OSWorld-Pro 也极具挑战性；其中表现最佳的模型（如 Claude Opus 5）仅达到75.7%，而在 OSWorld 上则为83.4%。此外，我们还识别出各种模型在过程层面的关键失败模式（例如与子目标无关的操作和基于点击的错误），为提升 CUAs 的性能和效率提供了有益洞见。