GatewayBench:面向 MCP 网关的统一能力与安全评估平台
GatewayBench: Unified Capability and Security Evaluation Platform for MCP Gateways
精选理由
系统评测MCP网关对智能体能力、效率与安全的影响,为架构选型和安全优化提供依据。
AI 摘要
AI agent 越来越多地通过调用工具与外部环境交互,Model Context Protocol(MCP)逐渐成为连接 agent 与异构工具和服务的标准接口。随着组织大规模部署 agent,MCP 网关已成为关键的中间件层,用于聚合、治理并塑造向 agent 暴露的工具集合。尽管 MCP 网关在 agentic 系统中的重要性日益提升,此前尚无研究系统性地探讨网关设计如何影响 agent 的能力、效率与安全性。为弥补这一空白,我们提出 GatewayBench,这是首个面向 MCP 网关的统一评估框架与基准。我们将网关架构归纳为两种主要范式:扁平化网关和分层网关。GatewayBench 包含来自六个领域的 524 个任务,以及从 251 个真实 MCP 服务器中收集的 11,118 个真实世界工具。为模拟大规模部署场景,我们系统地将从该工具池中采样的与任务无关的工具注入每个 agent 环境,从而能够在可访问工具集合不断扩大的情况下进行受控评估。基于 GatewayBench,我们针对七种广泛部署的 MCP 网关和多种 agent 配置开展了大量实验,涵盖良性任务与对抗性任务。结果表明,不同网关设计在任务完成、工具使用效率和攻击抵御能力方面存在显著差异;结果还进一步显示,这些影响与底层模型和 agent harness 之间存在很强的交互作用。这些发现凸显了 MCP 网关在 agentic AI 技术栈中是一个影响重大但尚未得到充分研究的组件。通过支持在真实工具生态下对网关架构进行受控评估,GatewayBench 不仅为 MCP 网关设计提供了实用指导,也为开发能力更强、更高效且更安全的 agentic 系统提供了严格的测试平台。