arXiv cs.AI精选82

GatewayBench:面向 MCP 网关的统一能力与安全评估平台

GatewayBench: Unified Capability and Security Evaluation Platform for MCP Gateways

· 2天前

精选理由

系统评测MCP网关对智能体能力、效率与安全的影响,为架构选型和安全优化提供依据。

AI 摘要

AI agent 越来越多地通过调用工具与外部环境交互,Model Context Protocol(MCP)逐渐成为连接 agent 与异构工具和服务的标准接口。随着组织大规模部署 agent,MCP 网关已成为关键的中间件层,用于聚合、治理并塑造向 agent 暴露的工具集合。尽管 MCP 网关在 agentic 系统中的重要性日益提升,此前尚无研究系统性地探讨网关设计如何影响 agent 的能力、效率与安全性。为弥补这一空白,我们提出 GatewayBench,这是首个面向 MCP 网关的统一评估框架与基准。我们将网关架构归纳为两种主要范式:扁平化网关和分层网关。GatewayBench 包含来自六个领域的 524 个任务,以及从 251 个真实 MCP 服务器中收集的 11,118 个真实世界工具。为模拟大规模部署场景,我们系统地将从该工具池中采样的与任务无关的工具注入每个 agent 环境,从而能够在可访问工具集合不断扩大的情况下进行受控评估。基于 GatewayBench,我们针对七种广泛部署的 MCP 网关和多种 agent 配置开展了大量实验,涵盖良性任务与对抗性任务。结果表明,不同网关设计在任务完成、工具使用效率和攻击抵御能力方面存在显著差异;结果还进一步显示,这些影响与底层模型和 agent harness 之间存在很强的交互作用。这些发现凸显了 MCP 网关在 agentic AI 技术栈中是一个影响重大但尚未得到充分研究的组件。通过支持在真实工具生态下对网关架构进行受控评估,GatewayBench 不仅为 MCP 网关设计提供了实用指导,也为开发能力更强、更高效且更安全的 agentic 系统提供了严格的测试平台。

查看原文(arXiv cs.AI)