arXiv cs.AI精选76

DeepWeaver:弥合开放式问答中的证据综合鸿沟

DeepWeaver: Bridging the Evidence Synthesis Gap in Open-Ended Question Answering

· 55天前

精选理由

提供一种提升开放问答证据整合与引用质量的新方法

AI 摘要

检索再生成流水线通常用于为开放式问题生成深度研究式答案,但仅靠检索并不足够:LLM 必须将嘈杂且碎片化的证据组织成全面且引用充分的答案。我们将这一过程称为证据综合。然而,直接生成往往未充分利用证据、引用对齐不准确,并将多样化信息压缩成浅层摘要,暴露出检索与生成之间的证据综合鸿沟。因此,我们提出 DeepWeaver,这是一种新颖框架,通过维护 Thought Block Chains(TBCs)将嘈杂的检索证据编织成全面答案;TBCs 是一种结构化表示,用于归组主张、重要信息、关键词和支持证据。DeepWeaver 使用从属 TBCs 来检查残余证据、提交 TBC 修订,并在最终生成之前发现新的主张。我们在基于知识库和网络的开放式问答上评估 DeepWeaver,并引入 LoQA,这是一个用于证据综合的高密度基准。在多个 LLM 上,DeepWeaver 在 LoQA 上提升了内容充分性、引用根基性和细节保留能力,同时在 DeepResearch Bench 上实现了更深入的洞见和更高的引用质量。这些结果表明,证据编织是弥合开放式问答中检索与生成之间差距的有效机制。我们的代码可在 https://github.com/KlozeWang/DeepWeaver 获取。

查看原文(arXiv cs.AI)