从内部进行检索：基于注意力的模型所具备的一种内在能力

arXiv:2605.05806v3 公告类型：替换 摘要：检索增强生成（RAG）通常将检索与生成视为两个独立的系统。我们探讨了基于注意力的编码器—解码器是否能够直接从自身的内部表示中进行检索。我们提出 INTRA（INTrinsic Retrieval via Attention），这是一种框架：解码器的注意力查询对预先编码的证据片段进行评分，然后将这些片段直接重新用作生成上下文。通过这种设计，INTRA 将检索与生成统一起来，消除了 RAG 流程中常见的检索器与生成器不匹配问题。该设计还通过在不同查询之间复用预计算的编码器状态，实现了上下文编码的摊销。在问答基准测试中，INTRA 在证据召回率和端到端答案质量两方面均优于强大的工程化检索流程。我们的结果表明，基于注意力的模型本身已经具备一种可被激发出来的检索机制，而无需额外添加外部模块。