如何稳定且高效地训练 Critic

用于大型语言模型的基于分组的强化学习方法（如 GRPO）通过为每个提示采样多个响应来避免训练 Critic。可靠的 Critic 则可以从一个响应中估计 token 级优势，但标准的基于 Critic 的训练方案通常不稳定。我们研究了这种不稳定性，并开发了 \textbf{Best-Practice Critic Optimization (BPCO)}，这是一种结合了 DPPO、限制在奖励范围内的价值预测、Monte Carlo 价值目标、未归一化的策略优势，以及长度自适应广义优势估计的方案。由于 Critic 仅在训练期间使用，BPCO 还可以让它以奖励定义信息为条件，例如参考答案或评分细则，而这些信息对策略是隐藏的。受控实验隔离了每个设计选择的影响。在数学推理任务中，模型规模从 1.5B 参数到 30B-A3B 混合专家模型，BPCO 始终改进了一个强大的基于 Critic 的基线，并且在每个提示仅采样一个响应的情况下，达到或超过了一个基于分组的基线。同一方案还改善了基于评分细则的奖励下的学习。这些结果表明，精心设计的 Critic 为组相对优势估计提供了可靠的替代方案。代码可在 https://github.com/QPHutu/golden_critic 获取