RAG-NIMBF：用于自动化 RAG 配置分析的非侵入式模块化基准测试框架

检索增强生成（RAG）已成为将大型语言模型（LLM）的输出建立在外部知识基础之上的主流范式。然而，实践者面临着庞大的配置空间，其中包括分块、嵌入、检索、重排序、提示和生成模型，而关于这些组件如何相互作用的指导仍然有限。我们提出了 RAG-NIMBF，这是一种模块化基准测试框架，可作为非侵入式评估层接入现有 RAG 流水线。该框架通过受控消融实验结合端到端实验跟踪，对配置空间进行评估。评估综合采用基于 LLM 的答案质量评分、检索正确性指标和运行时指标。本研究在 SQuAD 数据集上使用多个生成模型验证了该框架。该过程揭示了并不显而易见的交互关系，并展示了如何跟踪实验。研究结果表明，与传统相似度搜索相比，在相关性与多样性之间进行平衡的检索策略能够显著提升检索上下文的相关性和覆盖范围；在测试的各个模型中，MMR 使 nDCG@5 提高了 4 至 11 个百分点。更详细的提示指令能够显著提高生成答案忠实遵循检索证据的程度，尤其是在能力较强的模型和推理模型上（在 Qwen3.6-27B、GPT-4o-mini 和 Qwen3.5-think 上提高 10 至 13 个百分点，但在 20B 生成模型上提升可忽略不计）。总体而言，RAG-NIMBF 将 RAG 的配置空间转化为可复现、可比较的实验。通过以非侵入式方式接入现有生产流水线，它使实践者能够在不干扰现有工作流的情况下，系统地评估和改进已部署系统。这一框架以基于证据的决策取代了临时性的选择。