利用计算与数据约束重新审视合成数据的缩放定律

arXiv:2610.31867v1 公告类型：新 摘要：合成重写是指语言模型将自然文档重写为目标风格等形式，如今已成为预训练语料的标准组成部分。然而，人们对其使用中的关键问题仍缺乏充分理解，例如应该投入多少计算量来重写训练数据，以及在重写数据上训练的模型能否超越重写模型。我们通过提出一种重写缩放定律来研究这两个问题。该定律根据模型规模、训练词元数、重写数据占训练词元的比例，以及在自然数据上训练的轮数来预测损失，并将生成重写数据所耗费的计算量计入其中。我们在两种设置下拟合这一缩放定律。在计算受限设置中，自然数据十分充足，重写数据来自第三方重写模型，该模型使用的计算量超过了我们最大规模的实验。我们发现，估计得到的最优重写比例会随计算量增加：在 $3\times10^{18}$ FLOPs 时低于 $10\%$，在 $10^{22}$ FLOPs 时达到 $32\%$。我们的缩放预测将 FLOPs 外推了 $33\times$，用于训练一个拥有 22B 参数的模型；该模型的最终损失与预测值相差仅 $1.1\%$。在多个网页域上，该模型的 BPB 优于其重写模型，而训练计算量仅为后者的十分之一。在数据受限设置中，我们假设只有一个固定的自然数据种子集，并且重写模型与目标模型规模相同，且在该种子集上完成预训练。同样，我们发现最优重写比例会随计算预算增加而提高。我们还证明，当使用与目标模型规模相同的重写模型生成自身预训练数据的重写版本时，在所有不超过 3B 的模型规模上，基于重写数据训练的模型都优于仅使用自然数据训练的最佳模型。我们的结果表明，可以通过缩放定律的视角研究合成重写：最优的方法选择是可预测的，并且即使超出重写模型的能力范围，缩放也不一定会失效。