RAFT:面向故障排除智能体的有状态检索增强框架
RAFT: A Stateful Retrieval-Augmented Framework for Troubleshooting Agents
精选理由
将多阶段故障轨迹纳入检索,提升客服排障准确性并开源评测资源
AI 摘要
企业客户支持中的高效故障排除智能体依赖于从相似的历史案例中检索可执行的指导,但现有的检索增强生成(RAG)系统将支持案例视为静态文档,忽略了其多阶段、有状态的特性。我们提出 RAFT(面向故障排除智能体的检索增强框架),这是一种有状态的 RAG 框架,将每个已关闭的历史案例抽象为由时间线条目组成的有向链,并在条目级别进行检索,从而找出其中间状态与当前案例相匹配的案例,同时返回以匹配状态为锚点的父案例轨迹;此外,还可选地通过可配置的相似性表示在案例之间建立案例级图。我们直接评估这一检索层;与评估完整智能体系统不同,这种方式无需进行生产部署。由于公开的多阶段故障排除数据极为稀缺,我们将基于 Microsoft Learn Windows Server 文档构建的合成基准,与带有人为创建的重复标签的真实 Apache Jira 问题结合起来进行评估。在案例进展的每个阶段,RAFT 的 Case Hit 均优于 vanilla RAG 和 GraphRAG 基线,并且相较于最强基线取得了具有统计显著性的提升;Jira 结果提供了方向性证据,表明这一优势能够迁移到真实案例历史中。我们发布了基准、实现代码以及 Apache Jira 评估集。