当智能体失败时：该归咎于模型还是执行框架？

LLM 智能体将模型与执行框架相结合，因此智能体基准测试的表现反映了二者的共同行为。我们认为，执行框架应通过其与底层模型的交互来评估。我们提出了一个结合五项互补指标的评估框架：(i) 有效完成率（VCR），衡量智能体正常结束并交付可评估结果的可靠程度，不考虑任务完成的正确性；(ii) 模型—执行框架适配度，衡量对于给定模型，执行框架通过有效完成来支持任务达成的程度；(iii) 跨模型适配度，衡量执行框架在各个受评模型上的整体适用性；(iv) 交互残差，揭示被组件层面汇总结果掩盖的特定配对在执行方面的优势和劣势；(v) 词元负载，衡量智能体执行过程（包括失败尝试）的词元需求。我们在六项基准测试上评估了四种通用执行框架（OpenCode、Codex CLI、Pi CLI 和 DeepAgents）与四个核心模型的组合，以及两个固定的原生模型—执行框架系统。这些基准测试涵盖上下文管理、工具使用、长上下文规划、多模态交互和产物交接。计入原生参考系统和压力测试条件后，111 种评估设置共产生了 52,168 条轨迹。执行框架的排名随模型和基准测试而变化；任务表现与有效完成率可能分别有利于不同的配对，而相近的任务得分也可能对应截然不同的执行特征。OpenCode 在跨模型表现上排名第一，而在共同的四项基准测试中，DeepSeek V4 Flash Preview 在各执行框架上均保持了较高的平均 VCR。这些发现支持对模型—执行框架交互进行评估，训练模型具备可迁移的执行框架使用能力，并根据模型和任务设计相适配的执行框架。