FaulT-Bench：面向在不可靠用户工单下评测网络故障排查 LLM agents

基于 LLM 的智能体正越来越多地被用于网络故障诊断，但现有基准只在准确工单上评测它们，并且总是假设存在故障，而这两种条件在实践中很少成立。我们提出 FaulT-Bench，一个涵盖八种网络拓扑、共 200 个故障排查场景的基准，其中五种取自公开实践者实验室并重新实现，覆盖真实故障、错误故障报告、错误设备归因以及错误根因主张。为隔离工单措辞对诊断的影响，我们进一步将 72 条带有错误前提的工单改写为五种报告者 persona，在保持网络状态固定的情况下，每次只改变一个因素，分别体现报告者置信度和可验证细节的差异。我们的自动化框架在 Kathará 中部署每个场景，让智能体通过 NIKA 工具接口进行交互，并使用 LLM judge 按结果、修复方案和推理质量对自由文本诊断进行评分。我们评测了 SADE、ReAct 和 Claude Code，发现三者在准确工单上都接近饱和，并且对误导具有鲁棒性，但当网络本身健康而工单出错时，性能会急剧下降：它们会不断探查，试图把良性状态提升为根因，而不是得出没有问题的结论。persona 改写显示，工单的写法比其声称的内容更重要：一份自信但错误的报告，其处理效果大致与准确报告相当，而一份模糊、细节不足的报告会使性能显著下降。这三个智能体的失败方式也各不相同，从持续过度诊断到运行无回应，而且成本差异很大。这些结果将 FaulT-Bench 定位为一个基准，用于开发能够可靠处理真实世界网络故障排查中嘈杂、不可靠工单的智能体系统。