arXiv cs.AI精选78

基于 LLM 的多智能体系统中的失败归因错误传播建模

Error-Propagation Modeling for Failure Attribution in LLM-Based Multi-Agent Systems

· 5天前

精选理由

提出传播建模与反事实验证,精准定位多智能体系统失败根因,助力可靠性提升。

AI 摘要

基于 LLM 的多智能体系统(MASs)正日益用于通过协同推理、工具使用以及与外部资源交互来解决复杂任务。然而,对此类系统中的失败进行归因仍然具有挑战性,因为观察到的结果通常无法直接揭示导致执行失败的错误。在本文中,归因目标是决定性错误,即修正该智能体—步骤对便可恢复失败执行的错误。现有方法主要识别可疑步骤,却没有明确建模错误如何跨交互传播,或如何持续存在于尚未解决的循环中,因此难以将决定性错误与下游失败症状区分开来。我们提出错误传播建模失败归因方法(EMFA)。EMFA 构建失败轨迹的结构化表示,对级联传播和持续性交互循环进行建模,并采用具备传播感知能力的候选筛选,随后通过反事实验证来识别决定性智能体—步骤对。在 Who&When 基准测试中,EMFA 取得了当前最佳的步骤级归因准确率,并在智能体级别保持竞争力。与此前最佳的步骤级结果相比,它在 Hand-Crafted 和 Algorithm-Generated 子集上分别提升了 3.45 和 4.40 个百分点。

查看原文(arXiv cs.AI)