AgentHorizon：评估用于长时程计算机使用任务的智能体式评判器

arXiv:2610.11050v1 公告类型：cross 摘要：计算机使用智能体能够完成复杂任务，这使得自动评判器的使用日益增多，可用于训练或在无人参与的情况下进行评估。尽管自动评判器具有灵活性，但其在跨越多个应用程序的长任务中的可靠性仍不明确。一条由长序列屏幕截图和操作组成的轨迹，表面上可能已经完成任务，但实际上可能违反指令中的约束，或引入不必要的副作用。为了识别这些错误，评判器需要根据用户指令检查轨迹。为此，我们推出了 AgentHorizon，这是一个包含 1,373 个计算机使用任务（指令—轨迹对）的基准，数据来自 166 小时、涵盖三种操作系统的人类记录轨迹。通过记录针对高度相关指令的轨迹，我们可以交换指令来构造负面任务。这种成对设计评估了评判器区分成功轨迹与完成了相似（但不兼容）请求的轨迹的能力。我们发布了该基准的三个划分：前沿划分 AgentHorizon (AH)、简化划分 AgentHorizon-Simple (AH-S)，以及开发划分 AgentHorizon-Development (AH-D)。此外，我们通过两种方式评估了十一个评判器：（1）直接传入完整轨迹（最多包含 300 个屏幕截图和操作）；（2）在五种智能体运行框架中将其用作编程智能体。我们发现，表现最佳的智能体式评判器 GPT-5.5 在 AH 子集上达到了 80.9% 的平衡准确率。我们发现，工具使用能够提升某些模型的性能，但会导致开放权重模型的表现变差；同时，不同评判器在接受有效轨迹和拒绝失败轨迹方面的能力存在巨大差异。我们的研究结果凸显了对这类评判器的需求：它们必须能够在漫长的交互历史中定位并验证任务已被正确完成这一通常隐藏的证据。