GRPO 中隐藏的虚假优势

Group Relative Policy Optimization (GRPO) 在带有可验证奖励的强化学习中被广泛研究，其中其优势估计器会根据组内奖励统计为每次 rollout 分配一个幅度。通常情况下，这个幅度会奖励那些通过推理得到正确答案的 rollout。然而，有一种被忽视的情况表面上相同：某次 rollout 可能是靠猜测落到该答案上的，而公式仍会分配很高的幅度，我们将其称为虚假优势。它出现在三种情况中：答案受限、候选集合较小的任务；包含受限子问题的开放式答案集合；以及预算会打开许多通往同一答案路径的搜索代理。在这三种情况下，这都会误导策略偏向类似猜测的行为。我们提出 SIGNBALANCE，其幅度与组合无关：它保留验证器的符号，使用全局尺度，并通过按类别的 stop-gradient 重标定恢复零均值平衡。在不同规模的数学和搜索代理基准上，SIGNBALANCE 在开放式答案数学任务上与 GRPO 持平，并在受限答案数学任务和搜索代理上取得改进。代码将发布。