超越结果奖励：为搜索代理构建并分配检索信用
Beyond Outcome Rewards: Constructing and Assigning Retrieval Credit for Search Agents
精选理由
为搜索智能体提供中间奖励与信用分配设计，提升多步检索训练效率和性能。
AI 摘要
arXiv:2610.10179v1 公告类型：cross 摘要：搜索代理使 Large Language Models (LLMs) 能够针对复杂的多跳问题，迭代式地检索和利用信息。可验证奖励强化学习（Reinforcement Learning with Verifiable Rewards，RLVR）为这类代理的后训练提供了一种有前景的方法，但其对稀疏的、基于结果的监督的依赖，可能使信用分配变得困难，并限制学习效率。本文系统研究了中间监督如何改进搜索代理的强化学习。我们考察了一系列奖励塑形与信用分配策略，这些策略从中间检索步骤中提供学习信号。在此基础上，我们开发了一种训练框架，将中间信号与最终结果奖励相结合，以改进从多步搜索轨迹中的学习。在匹配的训练条件下，跨多个基准开展的实验表明，搜索代理的整体性能得到提升，并显示中间信号的选择及其信用分配位置都会影响训练行为。这些发现表明，奖励设计和信用分配是训练高效搜索代理时的重要设计维度。