基于 LLM 的智能体系统中自动化失败归因的机制研究

arXiv:2610.28811v1 公布类型：新 摘要：智能体系统通过支持多个相互交互的基于大语言模型（LLM）的智能体协作，并行执行子任务，在复杂任务上展现出了强大的能力。然而，这种协作结构也带来了可靠评估和诊断系统失败的新挑战，尤其是失败归因：追踪系统的执行过程，以确定导致最终结果错误的智能体步骤。由于手动执行这一任务耗时且耗费人力，近期研究开始借助 LLM 充当评判者，以自动化这一过程，这一过程被称为自动化失败归因（AFA）。这些方法假设，能力足够强的模型可以直接从交互记录中推断出发生失败的步骤。然而在实践中，直接提示通常表现不佳，这促使后续研究探索多种提升 AFA 性能的方法，包括替代性提示策略和推理时干预。在本文中，我们考察了一个更为根本的问题：这种较弱的行为表现是否反映了真正的能力局限。通过对内部激活应用线性探针，我们发现了显著的“知道但不说”差距：模型编码了足够的信息来正确归因失败，却无法明确输出应负责任的步骤。基于这一发现，我们提出了“grafting”，一种简单的人工干预方法，利用模型中已经编码的知识来提升 AFA 性能，且在推理时无需真实标签。在多个 LLM 和基准测试设置上的广泛评估表明，grafting 始终优于直接提示方法，凸显了利用模型潜在知识实现更可靠失败归因的潜力。我们的代码可在 https://github.com/wendyzheng22/mi4afa 获取。