衡量基于验证器的强化学习在监督微调之外的边际价值

arXiv:2611.07639v1 公告类型：新稿 摘要：基于可验证奖励的强化学习（RLVR）通常被作为监督微调（SFT）的替代方案，或作为其后续阶段来评估，其中隐含的假设是强化学习阶段本身能够带来增益。我们在一个受控环境中直接衡量这一贡献；在该环境中，两个阶段均可完整运行，并进行精确比较。我们构建了 gpu-train-debug，这是一个确定性基准，包含涵盖 30 种典型模式的 1,877 个合成 GPU 和 LLM 训练故障诊断任务，由支持部分得分的程序化验证器评分，并经过校准，使中等水平模型的得分落在 0.60 至 0.75 区间内。预实验产生了一个意外结果：1,200 个标准示范样本几乎解决了该基准中的任务（SFT 在困难划分上的得分为 0.785），而从基础模型开始进行 15 步 GRPO 则未带来改善（得分为 0.314，基础模型为 0.311）。因此，我们在完整运行之前以书面形式修订了研究，提出了一个更明确的问题：基于验证器的强化学习在示范样本之外还能带来什么？在预注册的规模下（60 步 GRPO，学习率为 1e-6），答案是：在分布内没有可检测到的改善（增加 0.22 个百分点，95% 置信区间为 [-0.06, +0.51]），而在分布偏移下则有幅度较小但可测量的改善（在留出的分布外划分上增加 0.33 个百分点，置信区间为 [+0.02, +0.68]）。SFT 实现了绝大部分可获得的改善，而基于验证器的强化学习仅在分布偏移下带来了少量额外增益。SFT 遗留的错误大多是系统性的，在不同样本间表现一致，这可能削弱了 GRPO 可利用的组内学习信号。一个完整的 60 步冷启动 GRPO 实验组在完整训练步数下验证了预实验的结果。整项研究的计算成本为 8.69 美元，并且可以利用归档的生成结果、冻结的配置和带版本标签的代码完全复现。