利用缓存轨迹实现任务高效的智能体评估

高效基准评测通过执行少量任务来估计系统在完整基准上的表现。标准方法仅依赖一组已评估的参考系统在任务执行中的二元正确性结果。然而，智能体系统每次执行任务都会生成丰富的轨迹，能够揭示更多有关其能力的信息。利用这些信息需要有用的轨迹表示。我们提出，使用 LLM 提取轨迹的结构化摘要，再使用标准文本编码器对摘要进行嵌入，以此表示轨迹。这些表示保留了与正确性和任务相关的信号，同时尽可能减少与系统身份、模型家族和运行框架相关的信号，而后者在原始轨迹嵌入中占据主导地位。在获得所有参考系统每次任务执行的这种表示后，我们构建系统的低维表示，并根据新系统在参考系统中的相对位置预测其得分。在 SWE-bench Verified 和 Terminal-Bench 2.0 上，当仅提供一个随机执行的任务时，将这种基于几何结构的预测引入项目反应模型，可使平均绝对误差分别从 0.13 降至 0.08（Wilcoxon $p < 10^{-4}$）以及从 0.14 降至 0.12（Wilcoxon $p < 10^{-3}$）。此外，在能够访问完整参考系统集合的情况下，无论执行多少个任务，我们的方法在这两个基准上均优于基线方法。