AgenticRag-R1：用于多步推理、检索和记忆的带堆栈记忆的 Agentic 强化学习

Retrieval-Augmented Generation (RAG) 提高了 large language models (LLMs) 的事实性，但现有 RAG 系统往往难以应对需要自适应检索和持续修正中间上下文的复杂多步推理。近年来基于强化学习（RL）的 agentic RAG 方法在一定程度上缓解了这一问题，但通常依赖粗粒度动作空间和轨迹级奖励，导致奖励分配较弱，并偏向于短视、刻板的推理模板。为此，我们提出 AgenticRag-R1，这是一个通过记忆栈和细粒度动作空间深度整合推理、检索和记忆的 RL 框架，并结合层次化的动作感知奖励和信息感知的轨迹拒绝策略，以实现有效的长程学习。我们在一系列多跳、开放域和 agentic 推理基准上进行了实验，覆盖多个基础模型规模，结果表明 AgenticRag-R1 始终优于强基线。此外，AgenticRag-R1 学到了更稳健、可解释且更具记忆感知的推理行为，凸显了细粒度动作建模和信息感知优化对长程推理的效果。我们的代码匿名可见于 https://github.com/jiangxinke/Harness-RL/tree/AgenticRAG-R1-Whitebox。