复合 AI 系统可靠性：来自 150 起生产事故的故障分类与韧性模式目录

arXiv:2610.02503v1 公告类型：cross 摘要：要可靠且安全地部署复合 AI 系统，需要理解在组件边界处出现的故障模式，而非仅关注单个模型内部的故障。级联错误会跨组件边界传播，隐性质量下降难以被标准监控发现，而协调失败则会使各个单独看来都正确的组件产生错误的集体行为。我们分析了来自开源复合 AI 项目的 150 份生产事故报告，以及经过匿名化处理的企业部署案例，构建出包含 23 种故障模式的分类体系，并将其划分为五类：检索故障、生成故障、工具故障、编排故障和集成故障。针对每一类故障，我们提出了韧性模式，并通过受控故障注入实验测量其有效性。断路器可将级联传播降低 89%，输出质量门禁可在影响用户之前捕获 73% 的隐性质量下降，而组件隔离可将影响范围缩小 64%。与无结构化监控基线相比，实施目录中三种或更多韧性模式的系统可将平均恢复时间（MTTR）缩短 71%。我们将该事故分类体系和模式目录作为面向实践者的资源发布。