候选答案供给与答案选择决定了 LLM 裁判在多智能体系统中的价值

多智能体系统（MAS）有时本来就具备正确回答的潜力，但仍会报告错误答案。要解释这一结果很困难，因为生成、通信和最终答案选择规则通常会同时变化。我们将多智能体推理概念化为一个进化管线，包括候选生成、同伴通信和终端选择，其中缺乏质量控制的一致性可能表现出模因漂移的模式。我们研究两个问题：（1）当 LLM 裁判为多智能体系统中生成的候选答案提供答案正确性的信号时，它在何种情况下能提供有效的选择压力；（2）使用该信号何时会改善报告的答案。为了描绘裁判可靠性，我们分析了来自 MMLU-Pro、GPQA、MedXpertQA 和 MuSR 的 15,336 个问题，Humanity's Last Exam 则单独分析。为了检验这些规则，我们重放了从五个基准中的 16,278 个问题抽取的 81,390 个固定候选池。我们报告三点发现。（1）正确答案往往已经存在于生成的候选答案之中，但系统仍可能收敛并报告错误答案。（2）裁判可靠性并不是模型的固定属性，而是会随任务、生成器以及正确答案有多罕见而变化。（3）将答案频率与裁判评估结合起来，只改变了最终的答案选择规则，并将准确率从 63.82% 提高到 70.82-70.95%，主要通过挽救那些被流行错误答案压倒的正确答案。在这里研究的系统中，生成更多候选答案的价值取决于这些额外样本是否使正确答案变得存在、变得常见或变得可识别。通过将生成、识别和选择分离，这些发现为设计能够防止生成的正确答案在过程中丢失的多智能体架构奠定了诊断基础。