利用可执行验证器进行函数结构化强化学习的数学推理

arXiv:2610.01729v1 公告类型：新 摘要：算法数学推理需要可靠的分解、计算与聚合。最终答案奖励无法为中间步骤中的错误提供充分指导，而成功执行也不能保证数学正确性。本文提出函数结构化图强化学习（Function-Structured Graph Reinforcement Learning，FSG-RL），通过多验证器反馈连接子问题图与 Python 实现。该策略首先通过监督微调（SFT）学习根据函数图生成代码。随后，群组相对策略优化（GRPO）利用答案门控奖励和跨度级信用分配优化策略。该框架还支持教师监督和结构化记忆。研究者从 Grade School Math 8K（GSM8K）、MathQA、MATH 和 Omni-MATH 中整理出一个基准，将公开函数图与私有验证规范配对。在统一评测协议下，相较于 SFT，GRPO 将最终答案准确率从 43.25% 提升至 67.50%，将完整解答成功率从 32.25% 提升至 52.25%。结合教师监督的持续强化学习（RL）带来了进一步提升。这些提升不仅体现在生成格式正确的代码上，还表明验证器引导的强化学习能够有效支持数学推理。代码可在 https://github.com/ZihanLiummyycc/FSG-RL 获取。