前沿推理数据合成的递归式工具链自我改进

生成难度逐步提升的推理问题，需要合成流程能够随着任务分布的演化进行适应。现有的任务级递归会将生成的问题重新用作种子，但保持构建工具链不变。我们提出任务—工具链协同演化框架，用于推理数据合成中的递归式工具链自我改进（RSI）。在线自我改进会在生成过程中将求解器的中间失败转化为可复用技能。任务后自我改进则在每批任务之后修订技能、提示词和工作流，仅当候选方案能在成本增幅受限的情况下生成更难且有效的任务时，才予以采用。模型权重和验证标准保持不变。在数学、编程和科学领域，经过十四轮演化后，求解器平均准确率从 100.0% 降至 54.8%。消融实验表明，将两种更新计划结合起来，比固定工具链递归或单独采用任一种计划都能生成更难的任务。由此得到的数据提升了下游 SFT 和 GRPO 的性能。特别是，在 10K 个合成数学示例上进行微调的 27B 学生模型，在 APEX 上取得了 62.5% 的 mean-16 准确率，与选定的前沿模型参考结果相当。这些结果支持在调整任务的同时适配合成工具链，从而生成难度不断提升且具有下游训练价值的数据。