MASBench：部分可观测环境下基于 LLM 的多智能体协作基准评测

大型语言模型（LLM）已逐步发展成为自主智能体的核心。在此基础上，基于 LLM 的多智能体系统（MAS）将多个智能体协调为协同团队，以完成超出单个智能体能力范围的复杂任务。这类系统的有效性不仅取决于智能体本身，还取决于协作机制的设计与组织方式。需要注意的是，现实世界中的协作通常具有部分可观测性：由于物理或隐私相关的限制，每个智能体只能获取环境中的部分信息。然而，现有许多多智能体基准测试都假设全局可观测，并且对协作机制的系统性评估支持有限。为弥合这一差距，我们提出了 MASBench，这是一个在部分可观测约束下设计的多智能体协作基准。该基准由三个渐进式任务类别组成：推理、调度和游戏。通过这一结构，我们逐步评估三种具有代表性的协作机制：协议、记忆和路由。MASBench 还提供了确定性的评估指标，包括性能得分、通信成本和成本效益，用于刻画协作成果与通信开销。在多种 LLM 主干模型和机制配置上的实验，为 MAS 的有效设计提供了实证指导。代码地址：https://github.com/BUPT-GAMMA/MASBench