将科学论文展开为多轮生成轨迹以用于持续预训练

近期一系列合成数据工作重建的是既有文本背后的思考过程，而不是对文本本身进行改写，但它们只处理较短的网页片段，只恢复局部思路，且没有触及整篇文档的结构。科学论文具有清晰且大体统一的结构，因此很自然地适合作为将这一范式提升到文档层面的基础。我们提出一个流水线，将每篇论文展开为一条多轮生成轨迹，其中一个 teacher model 重建整篇论文的写作过程：写作请求、全局计划，以及各节写作前的思考。所有章节正文和摘要都逐字保留自原始论文。我们将该流水线应用于经过质量过滤的 arXiv 论文，得到一个用于 continued pre-training (CPT) 的语料库，其规模大约是源文本的两倍。同样的反向构造也可扩展到 instruction data 和 evaluation。将真实论文文本视为答案可得到一个 SFT 数据集。以留出论文为锚点构建任务可得到 PAW-Bench，一个学术写作基准，其任务自带评分标准和检查清单。在受控实验中，先在我们的语料库上进行 CPT，再在公开数据集上进行 supervised fine-tuning，可在广泛提升写作基准的同时保持通用推理能力并改善长文档阅读。即使每个模型都在一个专门的写作 SFT 数据集上进行微调，这种写作收益仍然存在。将我们的 SFT 数据混入该流程还能进一步提升学术写作。