现实 MCP 故障下的工具调用 LLM 智能体:扩大规模并不能换来容错能力
Tool-Calling LLM Agents Under Realistic MCP Faults: Scale Does Not Purchase Fault Tolerance
精选理由
揭示 MCP 工具故障会显著削弱智能体表现,且模型规模难以弥补,提示评测与工程应重视容错能力。
AI 摘要
LLM 智能体日益依赖通过模型上下文协议(MCP)提供的外部工具,但现有基准测试假设工具能够正确、及时地响应,因此并未检验智能体应对现实工具故障的韧性。我们提出 MCP-Injector,这是一种即插即用、具备协议感知能力的故障注入中间件,可介入 MCP 工具调用路径,支持可控的故障持续模式(永久、暂时、间歇)以及可设定随机种子的调度方案。其故障模型依据公共 MCP 生态系统中观测到的事件分布(故障模式 × 持续模式)进行校准,该分布通过挖掘 1,774 个开源 MCP 仓库中的 57,240 个议题和拉取请求讨论串得出。在一项包含 1,350 个实验单元、交叉组合两种骨干模型规模(20B、120B)、三种智能体技术栈(自定义多轮规划与执行、OpenAI Agents SDK、LangChain)和三种故障注入条件的实验中,我们发现,从这一以永久故障为主的压力测试分布中抽取的故障会导致质量严重下降(任务完成评分下降 60%,从 8.08 分降至 3.23 分,满分为 10 分);对于我们测试的两个 gpt-oss 骨干模型,扩大规模并不能换来容错能力:120B 在故障条件下保留的无故障评分比例并未更高(韧性比率模型,$p = 0.96$),其故障条件下的完成率甚至更低(91.1% 对比 95.6%;相差 4.4 个百分点,95% 置信区间为 $[-0.2, 9.3]$)。不同智能体技术栈应对故障的能力存在差异,这表明框架层面的错误处理比模型规模更为重要。这些结果表明,仅依赖能力基准测试可能掩盖运行中的脆弱性,因此有必要将具备协议感知能力的故障注入作为工具调用智能体的补充评估维度。