arXiv cs.AI精选78

查询相关语料库投毒下 RAG 检索的可靠性压力测试

Reliability Stress Testing of RAG Retrieval under Query-Relevant Corpus Poisoning

· 1天前

精选理由

深度 92 / 新颖度 80,来自 arXiv cs.AI。

AI 摘要

外部文本只有在检索器将其纳入模型上下文后,才能影响检索增强生成(RAG)系统。我们在改变文档内容、攻击者掌握的查询信息、每个目标的投毒预算和污染范围的同时,对这一纳入步骤进行压力测试。基于来自 SciFact 和 NFCorpus 的 623 个 Benchmarking Information Retrieval(BEIR)查询,在孤立目标压力测试中,每个查询加入五个面向查询的文档,会使经典检索器的 nDCG@10 降低 40.2–61.5%。完整查询锚定解释了 Best Matching 25(BM25)性能下降的大部分原因,而追加文本还会改变潜在语义分析(LSA)和 Hybrid 的排序。预训练 BGE-small 的验证结果显示,在两个数据集上采用仅查询的 P=5 时,目标暴露率均达到 100%;加入注入载荷后,SciFact 的 nDCG 仅从 0.269 变为 0.271,而 NFCorpus 的暴露率略降至 98.8%,这表明对于该稠密模型,查询锚定仍是检索侧的主导因素。查询长度会实质性地改变对部分信息攻击的解读:在 162 条较长的 SciFact 查询中,两个随机词项覆盖了 19.9% 的合格词项,但仍实现了 39.5% 的 Hybrid 目标暴露率。多目标污染会引入目标间干扰。基于重叠的纳入机制可以移除完整查询投毒,但可能大幅降低干净检索的效用;在测试配置下,最大边际相关性(MMR)不会改变暴露率。本研究衡量的是检索层面的失效,而非下游的指令遵循。

查看原文(arXiv cs.AI)