面向训练感知的目标覆盖率合成数据选择

arXiv:2610.00814v1 公告类型：新 摘要：合成数据正日益被用于扩展 LLM 训练规模，然而，更多的合成数据并不一定能产生更好的模型。有用的合成数据必须为目标任务补充相关信息，同时不能引入抵消其收益的错误；而且，随着训练集不断扩大，一个样本的价值也可能发生变化。我们建立了一个线性理论，用于刻画这种权衡关系，并确定合成数据在何时有用、应添加多少数据，以及向现有数据集添加一个样本的边际价值。分析表明，在何种条件下仅凭输入覆盖率就已足够，以及何时还必须考虑合成错误。在这些结果的指导下，我们提出了 \emph{Training-Aware Target Coverage}（TATC），一种用于 LLM 微调的合成数据选择方法。TATC 识别出其训练效果有利于目标任务的候选样本，并从中进行选择，以扩展现有数据尚未覆盖的、与目标相关的方向。针对文本和图像数据的实验验证了线性理论。对于数学推理任务，TATC 为微调 Qwen2.5-Math-1.5B-Instruct 选择合成解答，并在不同选择预算下于 GSM8K 上优于其他合成数据选择方法。总而言之，我们通过量化并最大化合成数据对目标任务的价值，为合成数据选择提供了一种有理论依据的方法。