BLADE：审计LLM多智能体系统中的信息使用以进行失败归因

大型语言模型多智能体系统通过在专业化角色、工具和工作流之间开展协作，扩展了单个智能体的能力。然而，协作也使故障更难诊断：一个智能体可能误解正确结果，而其他智能体则将这一错误继续传递下去。因此，失败归因旨在识别负责任的智能体和决定性错误步骤。近期方法会追踪依赖关系，但知道信息源自何处，并不等同于知道错误发生在何处。我们提出BLADE（通过审计依赖证据进行责任定位），这是一种无需训练的框架，超越信息追踪，转而审计信息的使用方式。BLADE利用Jev进行结构化概率判断，并使用依赖概率来选择相关的信息源—决策交接点进行审计。在这些交接点上，BLADE检查接收方的决策是否忠实地使用其信息源，以及是否符合任务要求，从而区分错误引入、错误传播和错误修复。这些发现将用于形成全局诊断，并考虑所有执行步骤。在没有参考答案的情况下，在共享Jev决策接口下，针对五个Who&When和Who&When Pro子集中的1,228次失败运行，BLADE在八种策略中取得了最佳或并列最佳的步骤准确率，相比All-at-once提升了2.2至11.1个百分点。明确呈现责任证据，为构建更具可解释性和可靠性的智能体系统提供了一条路径。