LESSER：使用输出层梯度进行后训练数据选择

arXiv:2610.03702v1 公告类型：new 摘要：后训练数据的选择会显著影响大语言模型的下游性能。基于梯度的数据选择是一种广受欢迎的方法，它根据训练数据的梯度与小规模验证集梯度的对齐程度对训练数据进行排序。然而，使用全参数梯度进行排序需要对每个样本执行代价高昂的反向传播，使得在大规模候选数据池上进行计算变得难以实现。这引出了一个自然的问题：我们能否以更低的成本近似全梯度特征？我们发现，输出层梯度就足以实现有效的数据选择，同时只需执行成本更低的前向传播。我们将这一方法实现为LESSER，这是一个可直接替换选择方法的封装器：在保持下游任务中全梯度性能的同时，它将SFT基准上的特征提取FLOP成本降低了$9.7\times$，并将RL基准上的成本降低了$3.0\times$。经验结果表明，即使输出层梯度与全梯度对单个样本的排序不同，它们所选择的数据批次仍具有对齐的梯度。