智能体网络技术栈的基线评估

面向基于大语言模型（LLM）的智能体，各类协议、框架和技术正被快速提出，使任何致力于打造前沿 AI 解决方案的人都面临复杂局面。如果缺乏对不同协议、框架和库如何协同构建智能体网络解决方案的评估，开发者和组织甚至在加入智能体网络生态系统之前，就会面临技能培养、治理、基础设施等方面的挑战。在此背景下，我们提出了一个用于开展智能体网络评估的系统，名为 MASTIF（Multi-Agent System TestIng Framework），并基于 300 项 Mind2Web 基准任务，对包括 3 个 LLM、3 种协议和 4 个智能体实现框架在内的智能体网络技术进行了基线评估。结果表明，选择针对特定任务的技术栈，可能提高任务完成率、效率得分和社会价值稳定性得分，同时降低冗余程度并缩短任务完成时间。我们希望通过这些结果，为致力于设计、评估和开发多智能体系统的人们，在这一复杂且快速演进的环境中提供指标和结果方面的基线。