UNREAL：用单一模型统一检索与长上下文

arXiv:2610.08463v1 公告类型：交叉发布 摘要：长上下文推理与检索增强生成（RAG）在截然不同的尺度上进行证据选择，范围从单个长提示词到整个语料库。我们探讨的是，能否用单一的模型内部机制在这一范围内选择证据。我们提出 UNifying REtrieval And Long-Context with a Single Model（UNREAL），这是一种模型原生的证据选择框架，旨在同时支持语料库检索与长上下文推理。UNREAL 对文本块进行编码，并直接从冻结的 LLM 的内部表示中提取检索查询。它新增的可训练参数不足 50 万个，且保持骨干模型不变。在包含 30 亿个词元、2100 万个文本块的 Wikipedia 索引上，采用稠密和混合检索的全部四种 UNREAL 骨干模型均优于最先进的检索器与重排序器组合系统。最佳模型将 HotpotQA 上的召回率从 49.1% 提高至 73.2%，将 2WikiMultiHopQA 上的召回率从 31.7% 提高至 60.1%，并将 MuSiQue 上的召回率从 8.8% 提高至 14.4%。应用于长上下文任务时，同一选择机制会在生成前移除干扰信息，使 NoLiMa 在其最大上下文长度 128K 词元下的准确率从 1.0% 提高至 24.83%，并使 LV-Eval 在 256K 词元下的 F1 分数从 49.97% 提高至 54.66%。此外，从约 32K 词元的上下文长度开始，与全上下文推理相比，UNREAL 能够减少浮点运算量和首词元延迟，且随着上下文增长，收益进一步扩大。这些结果共同确立了模型内部证据选择作为语料库检索与证据稀疏的长上下文推理的共同基础。