通过嵌入空间中的强化学习来学习检索

arXiv:2610.07731v1 公告类型：交叉发布 摘要：稠密检索模型通常采用对比学习目标进行训练，这些目标能够学习有效的表示，但并不直接优化检索指标或下游任务性能。为解决这一问题，我们提出 RELER（REinforcement LEarning for Retrieval），这是一个强化学习框架，使现有嵌入模型能够直接在嵌入空间中学习检索，并与任务特定的奖励对齐。我们训练 RELER 的方式是：从以归一化编码器输出为中心的 von Mises-Fisher（vMF）分布中采样单位长度的查询和文档嵌入作为动作，将由此产生的检索结果或下游任务结果评分作为奖励，并使用带有留一法基线的 REINFORCE（RLOO）更新编码器。由于高维嵌入空间中的探索容易受到采样噪声影响，我们进一步提出条件均值投影（CMP），将每个采样嵌入投影到由其编码器输出及与之比较的候选嵌入所张成的低维子空间中，在保持策略梯度期望不变的同时降低其噪声。我们在 BRIGHT 上评估 RELER，该基准包含需要密集推理的查询，对现有嵌入模型而言仍具有挑战性。在对 BGE-M3 和 Qwen3-Embedding 骨干模型进行后训练时，RELER 在平均 nDCG@10 上始终优于 InfoNCE 和 LambdaLoss。我们还通过检索增强生成（RAG）评估其下游效用，其中仅调整查询编码器，同时保持文档索引和生成器不变。在七个问答数据集上，联合优化检索奖励和答案奖励同时提升了 RAG 的平均检索性能和答案质量。