通过过程监督提升数学推理能力

我们训练了一个模型，通过奖励每个正确的推理步骤（“过程监督”），而不是仅仅奖励正确的最终答案（“结果监督”），在数学问题求解方面达到了新的最先进水平。除了相对于结果监督提升性能之外，过程监督还具有重要的对齐优势：它直接训练模型生成得到人类认可的思维链。