RAG-PIBench：面向可信 RAG 系统提示注入检测的防泄漏基准
RAG-PIBench: A Leakage-Aware Benchmark for Prompt-Injection Detection in Trustworthy RAG Systems
精选理由
提供防提示注入的防泄漏评测基准，比较多类检测器，为提升 RAG 系统安全性提供可靠依据。
AI 摘要
arXiv:2610.08571v1 公告类型：交叉发布 摘要：检索增强生成（RAG）系统易受嵌入检索内容中的提示注入攻击。我们提出 RAG-PIBench，这是一个面向 RAG 场景提示注入检测的基准，包含 4,876 个带上下文的样例，分布于固定的训练集、验证集和受保护测试集中。通过采用防泄漏的构建流程和严格的评估协议，我们比较了基于关键词、语义参考、TF-IDF 和 Transformer 的检测器。DistilBERT 在受保护测试集上取得了最佳性能（F1 = 0.896，PR-AUC = 0.968），而 TF-IDF SVM 和逻辑回归仍具有竞争力。我们的结果表明，防泄漏的基准设计和强大的稀疏基线方法对于实现 RAG 系统中可靠的提示注入检测具有重要价值。