通过智能体轨迹剖析模型行为

arXiv:2606.17454v3 公告类型：replace-cross 摘要：AI 智能体的性能不仅是建模问题，从根本上说也是系统问题。模型的先进能力通过智能体框架得以实现。因此，模型假设与框架行为之间的差距，很容易阻碍模型的全部能力转化为智能体性能。我们将其形式化为 `intent-execution' 差距：模型意图与框架执行之间的不匹配，反之亦然。我们认为，缩小这种 intent-execution 差距，与工具和执行循环等框架设计的其他方面同等重要。为说明这种框架与模型对齐的影响，我们开发了一个简单且可定制的框架，称为 `Simple Strands Agent'（SSA）。SSA 旨在找出跨不同模型系列（例如 Claude、Gemini、GPT、Grok、Qwen）通用的大多数常见模式，以及少量特定于模型的偏好。我们做出了两项贡献：（i）在广受欢迎的智能体基准测试（SWE-Pro、SWE-Verified、Terminal-Bench-2 和 Deep-SWE）上，\textbf{复现或超越了不同模型提供商系列报告的 pass@1} 性能；（ii）基于对 SSA 生成的 \textbf{154\texttt{k} 条轨迹的分析}，我们不再局限于各前沿模型之间往往相对接近的 \texttt{pass@1} 数值。通过在代码状态空间中表示智能体轨迹，我们计算解距离和回溯，以观察模型层面的解题行为差异。编辑频率、测试活动和阶段转换等更细粒度的指标揭示了各个模型如何在解题的不同阶段分配精力。