Hindsight-Privileged RLVR：无需分组采样的单次轨迹采样词元信用分配

基于可验证奖励的强化学习（RLVR）通过经核验的任务结果训练语言模型，但将终局奖励分配给各个推理词元或动作仍然十分困难。Group Relative Policy Optimization（GRPO）等组相对方法针对每个提示采样多次尝试，但当所有尝试都得到相同结果时，它们就会失去基于奖励的学习信号。我们提出 Hindsight-Privileged RLVR（HP-RLVR），这是一种单次轨迹采样方法，可将已完成轨迹自身的未来信息转化为词元级更新权重。生成该轨迹的策略快照分别在每个符合条件的词元的因果历史上下文中，以及包含实际发生的未来和验证器反馈的后见上下文中，对该词元进行评分。两个视角之间的归一化 Jensen--Shannon 散度用于对相对于历史基线的奖励进行加权，从而为成功和失败的尝试均提供有界的词元信用分配，无需参考解答或学习得到的评价器。在采用相同 $100$ 步训练计划的 Qwen3-8B 配对实验中，HP-RLVR 在数学、代码生成和 ALFWorld 任务上的训练速度分别为 GRPO 的 $1.21\times$、$1.46\times$ 和 $2.30\times$，而每个提示的轨迹采样次数仅为其八分之一。总体准确率相当，其中 HP-RLVR 在全部三种模型规模的数学任务上均领先，而 GRPO 在代码和 ALFWorld 任务上领先。在 ALFWorld 中，GRPO 的梯度范数记录有 $43.2\%$（4B）和 $49.0\%$（8B）为零，而 HP-RLVR 没有此类记录。