学会使用工具：用于工具集成数学推理的强化学习

当前的大型语言模型（LLM）越来越受益于外部工具集成，尤其是在需要可靠计算和验证的任务中。受此启发，我们研究了在 Countdown 任务中通过调用计算器工具来提升数学推理能力。我们首先分析推理失败案例，发现计算错误占相当大一部分错误回答。随后，我们构建了监督微调数据集，用于教会模型有用的工具使用模式，以及如何解释返回的输出。在这一工具格式化策略的基础上，我们采用多种基于在策略的强化学习方法，包括 RLOO、RLOO++、GRPO 和 DAPO，并使用可自动验证的最终答案奖励。为了实现更可靠的评估，我们构建了一个全新的、包含 1,024 个问题的留出 Countdown 基准，与训练数据没有精确重叠。结果表明，计算器工具集成在 SFT 和 RL 基线之上都能持续提升性能，在 pass@k 上带来约 10 个百分点的提升。在这些 RL 方法中，Tool-DAPO 表现最强，将 pass@1 从 Tool-SFT 的 35.8% 提升到 66.0%。进一步分析表明，即使只提供最终答案奖励，RL 也会促使模型更有效地使用工具。这些发现说明，工具集成减少了算术和验证错误，而 RL 提高了生成正确推理轨迹的概率。