BoundaryEvo：面向长链推理蒸馏的能力边界处数据—模型协同演化

从大型教师模型中蒸馏长链推理轨迹，是提升小型语言模型推理能力的一种有效途径。然而，现有方法通常在蒸馏前选定一个固定的训练集，忽略了推理样本的效用会随着学生模型的演化而变化。当只能使用少量教师模型轨迹进行训练时，这种错配的代价尤为高昂。此外，已经掌握的样本几乎无法提供新的监督信号，而远超学生模型能力的样本又可能难以从中学习。因此，训练数据应随着模型能力的演化而调整，但在学生模型初始能力较弱时，很难进行可靠的数据选择。为应对这些挑战，我们的核心思路是先建立基本推理能力，再根据学生模型不断演化的能力边界调整训练数据。我们提出了 BoundaryEvo，一个两阶段的数据—模型协同演化框架。在能力启动阶段，我们直接蒸馏一小组由教师模型生成的长推理轨迹，而不使用单独的模型对其进行评判和筛选，使学生模型在开展能力感知的数据选择之前获得初步推理能力。在能力边界协同演化阶段，我们反复选择当前学生模型尚未掌握、但专家模型能够可靠解决的问题，并随着学生模型的演化更新训练数据。仅使用 1,000 个训练样本，BoundaryEvo 就在 11 个推理基准上持续优于静态和动态数据选择基线，将原始 Qwen3.5-4B 在 IMO-AnswerBench 上的准确率从 62.9 提升至 75.3，在 AMO-Bench 上的准确率从 26.8 提升至 46.0。代码和数据将公开发布。