从自身解中学习：面向可验证奖励强化学习的自条件信用分配
Learning from Own Solutions: Self-Conditioned Credit Assignment for Reinforcement Learning with Verifiable Rewards
精选理由
提出无需外部奖励模型的自条件信用分配，精准强化关键推理步骤，显著提升模型在数学、代码及智能体任务中的表现。
AI 摘要
arXiv:2606.18810v2 发布类型：替换 摘要：带有可验证奖励的强化学习（RLVR）推动了用于推理任务的 LLMs 训练取得重大进展，但 GRPO 等代表性方法在所有 token 间分配均等的信用，将梯度浪费在常规 token 上，同时对关键推理步骤的信用分配不足。现有的 token 级信用分配方法需要模型自身 rollout 之外的资源。GRPO 的变体依赖过程奖励模型或真实答案。知识蒸馏通过每个 token 的散度分配信用，但需要外部教师（On-Policy Distillation）或特权信息（On-Policy Self Distillation）。然而，这些依赖限制了其在纯 RLVR 环境中的适用性。我们观察到，以模型自身经过验证的轨迹为条件，会在原始分布与条件分布之间诱导出可测量的逐 token KL 散度；我们还证明，当存在多条经过验证的轨迹时，从由这些轨迹构建的自教师进行蒸馏会导致不可行的加权平均解。我们提出 SC-GRPO（Self-Conditioned GRPO），将前述 KL 散度作为乘法权重作用于 GRPO 梯度。在涵盖数学、代码和智能体任务的五个基准测试中，SC-GRPO 始终优于 GRPO 8.1%，优于 DAPO 5.9%，并展现出更强的 OOD 性能。此外，SC-GRPO 的性能高于 OPD。