智能体越多，可靠性越高？运行剖面不确定性下多智能体 LLM 的系统级可靠性
More Agents, More Reliable? System-Level Reliability of Multi-Agent LLMs under Operational-Profile Uncertainty
精选理由
提出多智能体可靠性评估框架，揭示投票机制与输入分布的不确定性如何影响系统表现，提醒团队增加代理不等于提升可靠性。
AI 摘要
团队越来越多地使用相互协作的大语言模型（LLM）智能体构建软件，并往往假定智能体越多，可靠性就越高。然而，通常采用的证据，即基准测试的平均准确率，忽略了已部署系统所遇到的输入构成，以及合并各智能体答案的规则。基于 HIP-LLM 这一针对单个 LLM 的分层非精确概率评估方法，我们提出了一个面向多智能体系统的框架，将该方法与描述系统失效逻辑的贝叶斯网络相结合。智能体的失效概率区间通过该网络传播，形成可靠性包络，揭示哪些证据限制了可靠性；其中，答案合并规则本身也可能失效。在一条提取受法规约束的化学危害说明的处理流水线中，三个模型的多数投票机制能够抵御最弱模型的不利影响，但并未明显优于最佳模型；如果投票器在 5% 的请求中失效，其相较于中等表现模型的优势将基本消失。更多智能体带来的是更有依据的可靠性声明，而不一定是更可靠的系统。