前缀可执行性：超越最终成功评估工具使用智能体

工具使用基准通常根据智能体最终是否成功完成任务进行评分，但终端结果可能掩盖中间工具调用轨迹是否可执行这一问题。我们提出将前缀可执行性作为一种面向轨迹的工具使用智能体评估协议。该协议衡量预测的工具调用序列的每个前缀是否在工具模式、状态前置条件和数据依赖的约束下保持可执行，并使用前缀可执行性曲线（Prefix Executability Curves，PEC）、首次错误深度（First-Error Depth，FED）、轨迹可执行率（Trajectory Executability Rate，TER）、按时域归一化的 AUC-PEC 以及恢复率（Recovery Rate，RR）来概括可靠性。我们在 BFCL-v3 的多轮数据和 ToolSandbox 的分层样本上，以及 $τ^3$-bench 的完整 Airline/Retail 基础划分上应用了该协议。我们观察到，仅基于结果的排名与基于前缀的排名并不一致：执行过程依赖未经验证的计划的智能体，其最终成功率点估计往往高于不依赖计划的基线，但 TER 和 AUC-PEC 却显著更低。这些差异正是前缀可执行性旨在揭示的失败模式：它们能够表明表面上的成功是否建立在一条可执行的轨迹之上、无效性首次出现的位置，以及成功是否来自对早期失败的恢复。作为一种验证干预措施，显式的执行前计划检查能够在保持具有竞争力的终端成功率的同时，提高可执行前缀的存续率。这些结果表明，仅凭最终成功不足以评估工具使用智能体，而前缀级可执行性则为比较智能体、诊断失败和评估验证机制提供了一种可操作的可靠性信号。