面向多轮搜索代理强化学习的基于证据的信用分配

arXiv:2610.23148v1 公告类型：新 摘要：诸如 GRPO 之类的结果奖励强化学习会为搜索代理一次运行中的每个词元赋予相同的优势值，尽管该次运行同时运用了两种能力：寻找证据和利用证据。我们表明，即使缺乏依据，准确率也会提高：Search-R1 在全部七个问答基准测试上都提升了准确率，但在 Bamboogle 上，有证据支持的正确答案占比却从 84.0% 降至 42.9%。我们将其归因于 GRPO 的信用分配机制：能够检索到包含答案的证据的运行结果，只有按照其相对于其他运行结果的准确率提升幅度，才会在整体上获得偏好；而从记忆中作答或误用证据会缩小甚至逆转这一依据缺口。为解决这一问题，我们提出 Grounded Credit Assignment（GCA），利用可验证的子结果（证据检索和答案正确性）分别校正搜索和作答的信用：对于错误答案，对作答的惩罚大于对找到证据的搜索过程的惩罚；对于绕过可检索证据而得出的正确答案，则减少其获得的信用。该校正对寻找证据的搜索从不施加负向影响，也不会随着依据缺口缩小；同时，它被限制在每个词元优势值的 10% 以内，因此绝不会覆盖结果信号。在不增加额外模型、运行次数或训练阶段的情况下，GCA 使 Search-R1 的平均 EM 在 Qwen2.5-3B 上提高 5.7 个百分点、在 Qwen3-30B-A3B 上提高 6.3 个百分点，并将这一占比从 76.9% 提升至 93.4%。