arXiv cs.AI精选79

上下文即基础设施:配备控制框架的智能体系统中的检索知识编译

Context as Infrastructure: Knowledge Compilation for Retrieval in Agentic Systems with Harnesses

· 3天前

精选理由

提出将知识编译为可治理、可导航的上下文供智能体检索,显著减少冗余查询与上下文开销。

AI 摘要

检索增强生成正朝着智能体化发展。搜索控制框架编写查询、读取结果、重新表述查询,并决定何时停止。这在很大程度上解决了准确率问题:在我们的运行测试中,仅使用 BM25/grep 和 MiniMax M3 的控制框架,无需编译索引或向量索引,就能正确回答 BrowseComp-Plus 中 85% 的问题,以及多跳 FRAMES 中 91% 的问题。但这也暴露出一个上下文问题:缺乏约束的循环会重复查询、反复读取文档,并用未使用的段落填满上下文窗口。缺失的层是知识编译:一种可配置的数据摄取流水线,由 LLM 为文档补充任何单个分块都无法独立包含的上下文——包括以主张与证据为叶节点的导航层级、实体图谱、时间线、思维导图、本体、维基和记忆。知识编译并不是更好的检索器:在能力足够的控制框架下,结构化产物并未在 FRAMES 上带来可检测的准确率提升,而 PageIndex 风格的大纲在规模扩大时反而导致性能下降。它是一个供给层。叶节点为主张—证据对的导航树——也就是我们测量的机制——在证据充分时可减少 91% 的查询词元,在证据不足时则增加 1.9%,平均减少 38%;这意味着证据充分率达到 2% 即可实现盈亏平衡,而实测值接近 43%。一个决策门控将延迟从 140 秒降至 30 秒,不过,以替代方式节省词元需要付出额外检索轮次的代价,也会产生相应的延迟成本。其他产物——本体、图谱、维基、时间线、思维导图和记忆——会在部署中发挥价值,包括治理、集成、入门引导、时间定位和连续性,而这些价值无法通过准确率基准体现。我们介绍了 RAGFlow 的流水线与控制框架(开源地址为 https://github.com/infiniflow/ragflow),它们将循环组织为五个有序环节,并将进入模型的上下文保持为足以完成任务的最小集合;两者共同构成一个智能体原生数据库:向智能体提供经过编译和治理的上下文,而非按排名排列的段落列表。

查看原文(arXiv cs.AI)