arXiv cs.AI精选76

PRIME:面向结构化文档检索的检索前索引建模增强-Real

PRIME: Pre-Retrieval Index Modeling Enhancement for Structured Document Retrieval-Real

· 4天前

精选理由

提出文档索引优化框架,在降低嵌入与索引成本的同时提升检索质量和问答效果。

AI 摘要

对外部知识库进行高精度检索,是 LLM 智能体有效运行的关键。然而,现有信息检索(IR)研究主要优化查询侧的检索器(如 ColBERT、BGE)和生成器(如 Self-RAG、GraphRAG),却将语料库侧的表示简化为分块处理。这使得索引侧质量成为一个尚未得到充分探索的优化着力点。我们提出检索前索引建模与增强(PRIME),这是一个索引侧优化框架,包含两条互补路径:一条是由 LLM 驱动的语义重构(SR)路径,将长文档转换为结构化、信息密集的章节;另一条是确定性的元数据合成(MS)与分层检索(HR)路径,通过提取语义锚点和标题结构,实现由粗到细的章节检索。评估结果表明,确定性元数据能够达到与结构感知分块相当的检索质量,同时将嵌入计算量降至原来的 1/45.8,将索引向量数量降至原来的 1/22.4。在这些收益的基础上,语义重构(SR)在完整部署时进一步将 Answer-F1 提高了 13.7%,我们还分析了质量、保真度与成本之间的权衡。在 QASPER、BRIGHT 和 NFCorpus 上,我们进一步刻画了决定索引侧优化会改善还是降低检索效果的三类定性情形,同时表明,在使用强大的重排序器时,这些索引侧影响会被抵消。

查看原文(arXiv cs.AI)