RANGER：具有语义评估奖励的图导航检索智能体

arXiv:2610.28010v1 公告类型：新 摘要：Large Language Models与Reinforcement Learning的结合，为复杂的序列决策任务（例如在知识图谱上进行多跳问答）提供了一个富有前景的方向。尽管LLM具备强大的语义理解和推理能力，但它们往往难以在结构化环境中执行精确的多步导航。相较之下，RL智能体擅长学习导航策略，却受制于难以设计具有语义意义的奖励函数这一问题。本文提出了一种新型混合方法：在训练过程中，由LLM担任RL智能体的导师，提供稠密且具有语义信息的奖励信号。该RL智能体基于Transformer策略构建，并采用Group Relative Policy Optimization进行训练，学习在知识图谱中导航以检索相关信息。LLM评估智能体所 traversed 路径的语义相关性，生成与查询所表达的信息需求相一致的奖励信号。我们将这一具有语义评估奖励的图导航检索智能体（Retrieval Agent for Navigating Graphs with Semantic Evaluation Rewards，RANGER）集成到完整的问答流程中，并在开放域问答数据集上对其进行评估。实验结果表明，该方法优于两种基线系统：一种是采用经典图搜索的检索增强系统，另一种是使用启发式奖励训练的RL智能体；同时，该方法在NLP指标和LLM-as-a-Judge评分上均取得了显著提升。我们的研究结果表明，将LLM深度集成到RL训练循环中，能够为复杂推理任务带来更加有效且符合语义的检索策略。