超越完美队友：与不可靠同事开展多智能体协作

基于 LLM 的多智能体协作正日益用于解决复杂任务，其方式是将工作分配给专业化智能体，并整合互补的专业知识。然而，现有系统和评测大多建立在一种隐含的完美同事假设之上：协作者提供正确且完整的信息，并及时响应请求。但在现实团队协作中，协作者可能返回与预期问题不符的信息，提供不足以支持决策的细节，或未能响应请求。为了将任务解决能力与从不可靠的信息搜集过程中恢复的能力区分开来，我们引入了 Unreliable Colleagues Benchmark（UnCoBench），通过 Misaligned、Incomplete 和 Missed 三种设置对行为失败进行组织。主智能体需要验证上下文正确性，诊断信息缺口，并跟踪尚未解决的依赖关系，从而获取解决任务所需的正确证据。我们还提出了一种可验证且可扩展的自动生成流程，将基于 LLM 的场景生成与答案唯一性和角色必要性的可执行检查相结合。对十个模型的结果表明，在可靠设置下表现相近的模型，在面对不可靠证据时可能展现出不同的稳健性。轨迹分析揭示，智能体经常遗漏纠正性后续行动，而恢复行为还涉及低效等待和冗余查询。这些发现表明，稳健的协作不仅需要可靠的推理，还需要采取有针对性的行动来诊断证据失效、恢复相关信息，并将其整合到决策中。我们的数据和源代码可在 https://github.com/iNLP-Lab/UnCoBench 获取。