RAGStress：用于评估知识库退化条件下检索增强生成的受控基准测试

检索增强生成（RAG）通常在底层知识库（KB）干净这一隐含假设下进行评估，因此，RAG 系统在现实知识库退化条件下的行为特征仍缺乏充分刻画。我们推出 RAGStress，这是一项用于在系统性知识库损坏条件下对 RAG 系统进行压力测试的受控评估基准。该基准在基于单一知识库、按元数据筛选的实验设计中，将四种自然类型的损坏（事实损坏、数字笔误、相关性投毒和矛盾注入）与三个严重程度等级（轻微、中等和明显）相结合；实验数据由 57 个 MMLU 主题和 182,546 份文档构成。在 52,500 次模型—问题—条件评估中，RAGStress 揭示了以下现象：干净检索可能掩盖鲁棒性差异；语义保真度损坏的危害显著大于信号效用扰动；无检索准确率无法预测损坏检索条件下的鲁棒性；混合知识库准确率也不应被视为最坏情况鲁棒性的衡量标准。我们说明了该基准的预期用途、可支持的结论及其局限性，并提供了包含生成脚本、损坏提示词、元数据模式和评估代码的配套资源包。RAGStress旨在作为评估 RAG 在知识库损坏条件下鲁棒性的受控压力测试工具，而非通用的模型排行榜。