ZeroRAG：面向去中心化检索增强生成的自适应语义对等节点路由

检索增强生成（RAG）是一种提高大语言模型（LLM）输出可靠性的标准方法，通过检索与查询相关的文档，并将其提供在 LLM 提示中来实现。如今的 RAG 系统从集中式存储中收集、索引和提供这些文档。然而，在实践中，文档归组织、设备和个人所有，出于隐私、版权或监管合规等原因，他们不能或不愿将文档的保管权交给中心化机构。现有的现代去中心化检索技术要么重新引入协调机构，要么依赖需要持续进行全网协调的全局数据结构，例如分布式哈希表（DHT）。我们提出 ZeroRAG，这是一个用于 RAG 文档检索的去中心化路由层，无需全局数据结构或集中式编排，即可在对等节点构成的覆盖网络中执行语义查询路由。文档保留在拥有它们的对等节点上，每个对等节点仅维护轻量级本地状态：数量有界的邻居通告，以及最近路由过的查询缓存。利用这些信息，ZeroRAG 通过最佳优先遍历引导每个查询，并逐步调整覆盖网络的连接，使其倾向于语义相关的邻居，从而随着网络自组织，使召回率随时间推移而提高。我们使用三种真实世界工作负载和两种去中心化基线方法评估 ZeroRAG。结果表明，ZeroRAG 在召回率和所需网络消息数量方面优于基线方法，在召回率和 LLM 回答准确率方面接近集中式文档存储，能够在灾难性对等节点故障后自愈，并可扩展至 100,000 个对等节点。