Agentic AutoRAG：通过推理驱动的智能体优化 RAG 流水线

arXiv:2610.08452v1 公告类型：交叉发布 摘要：检索增强生成（RAG）是一种广泛使用的方法，用于让大语言模型（LLMs）的回答以外部知识为依据。然而，配置流水线是一个成本高昂的超参数优化问题，涉及从分块、嵌入模型到重排序和生成等众多相互影响的选择。现有优化器从贪心搜索到贝叶斯优化，都将每次试验简化为一个综合分数，在搜索时不对配置取得相应表现的原因进行建模，尽管检索到的文本块已经提供了证据，可用于判断每次失败发生在检索阶段还是检索之后。我们提出 Agentic AutoRAG，这是一种基于 LLM 智能体的优化器，用于多目标 RAG 超参数优化，并能将失败归因于检索或生成。它提出候选配置，并使用从语料库中构建的固定测试集进行评分：每次试验后，Diagnoser 将每个回答失败的问题归因于检索或生成，Proposer 则以包含模型排名和定价的知识库为依据，权衡准确率与成本，选择下一个配置，从而勾勒出帕累托前沿。在三个多跳问答基准上，它取得的 LLM 评判准确率高于我们比较的所有基线，并且在前 10 次试验内就达到或超过了统计方法基线完成全部 30 次试验后的评判准确率。在真实世界医疗保健语料库上，其成本感知模式取得了 77% 的测试准确率中位数，高于最强基线的 71.5%，而每次查询的成本仅约为该基线的 58%；此外，它仅用约 22% 的成本就达到了同样的 71.5% 准确率。