Mo' Models, Mo' Problems：设计 Multi-Agent Systems 时如何最佳选择模型池

Multi-agent Systems（MAS）结合多个模型输出来解决复杂推理任务。然而，尽管可用开源模型快速增长，关于如何从这一庞大模型池中选择最优候选模型的研究仍然有限。我们在具有挑战性的科学基准上，系统评估了 8 种模型选择策略（包括模型规模、准确率和答案多样性），覆盖生成前（路由）和生成后（多数投票、LLM-as-a-judge）的 MAS 架构。我们的发现显示，理论上的 oracle 潜力与实际性能之间存在显著差距：扩大候选池规模往往会使性能下降到低于表现最佳的基础模型。我们发现，在单一模型家族内进行候选选择，是相较于独立模型能够带来最佳相对性能的策略。这些结果表明，向异构 MAS 中任意添加模型可能会引入系统不稳定性，凸显出模型选择是 multi-agent systems 的关键设计选择。