Insights Generator：面向 LLM 智能体的系统化语料库级轨迹诊断

arXiv:2605.21347v4 公告类型：replace-cross 摘要：对 LLM 智能体中的故障进行诊断，目前仍主要依赖人工。实践者检查少量执行轨迹，提出临时性假设并不断迭代。这一过程会遗漏只有在轨迹群体中才会显现的模式，而且无法扩展到生产环境中的语料库，因为其中单条轨迹可能包含数万个词元。我们将语料库级轨迹诊断形式化。给定一个执行轨迹语料库，目标是生成有依据的自然语言洞见，用于刻画不同轨迹组之间的系统性行为模式，并将每条洞见与支持性证据关联起来。我们提出了 Insights Generator（IG），这是一个多智能体系统，通过在轨迹语料库中提出并检验假设来回答诊断问题，从而生成有证据支持的洞见报告。我们从定性和客观两个维度对 IG 进行了评估，涵盖基于评分标准的报告评估，以及通过实施 IG 洞见所实现的下游性能提升。使用 IG 报告的人类专家使脚手架性能相比未经修改的基线脚手架提升了 30.4 个百分点；利用 IG 洞见的编码智能体也展现出持续且稳定的增益。在各项基准测试中，IG 的侦察员-调查员架构在检测覆盖率方面产生了可与其他方法相媲美的发现，同时领域专家认为 IG 报告在深度和证据质量方面处于领先水平。