通过轨迹感知评估实现高效的 SWE Agent 基准评测

在真实基准上评估软件工程 agents 成本高昂，因为每个任务都可能需要多步代码探索、修改和测试执行。现有的高效评测方法会选择具有代表性的子集来估计完整基准上的性能，但大多只关注结果：它们拟合历史通过/失败响应矩阵或静态任务语义，忽略了 agents 解决问题的方式。我们提出 PTA-IRT，一个 Privileged Trajectory-Aware Item Response Theory 框架，融合过程信号和结果信号。历史执行轨迹提供了超越通过/失败的过程级证据，例如探索过的上下文、尝试过的编辑以及求解路径，PTA-IRT 将其用作用于校准子集选择和能力估计的特权信息。在较低的校准预算下，PTA-IRT 在四个 SWE 基准上的分数恢复和排序恢复方面始终优于先前的 IRT 基线。代码和数据可在 https://github.com/DeepSoftwareAnalytics/PTA-IRT 获取。