cua-speedrun：计算机使用代理的标准化速度基准测试

计算机使用代理（CUA）通过图形用户界面（GUI）在计算机上完成任务，近期已在包括困难的长时程任务在内的许多标准基准测试中超越人类表现。它们的能力无疑令人印象深刻，但CUA被广泛采用和部署的一个关键障碍仍然是速度和成本。要推动兼具速度与能力的CUA发展，就需要可靠地评估其速度；然而，当前许多CUA基准测试正面临可复现性危机。这些基准测试依赖复杂的基础设施，而机器和容器配置各不相同，从而干扰了对CUA执行速度的评估。为弥合这一空白，我们提出了cua-speedrun，引入标准化的基础设施和任务集，重点评估CUA的速度与效率。cua-speedrun采用统一的虚拟机设置和执行流水线，并配备通用代理接口，使单代理实现能够在不同基准测试之间无缝运行。我们在四种不同的CUA基准测试中评估了推理投入、代理框架和环境延迟如何影响性能、速度与成本。我们发现，没有任何一个模型系列能在这三个方面都达到最优；没有一个开放权重模型处于性能前沿。此外，出人意料的是，对于某些模型，提高推理投入反而可以加快任务完成速度，而更快的环境输入输出可能会延长整体任务完成时间。我们还证明，在不降低整体统计效力的情况下，可以有效缩减大多数CUA基准测试的评估任务集，从而实现更高效的基准测试与比较。我们相信，cua-speedrun将推动快速、高效CUA的结构化发展，解锁新的现实世界使用场景和应用。所有代码、基础设施和分析均已发布于https://cuaspeedrun.com。