每个批次都是自己的验证集：用于 LLM 微调的留一法梯度匹配在线数据选择

arXiv:2610.00436v1 公告类型：新 摘要：在线批次选择在每个候选批次中选取最有用的部分来微调语言模型。匹配候选批次梯度的选择器颇具吸引力，因为它们不需要留出数据，但其表现却很少超过使用整个批次进行训练。我们揭示了其中的原因。样本内梯度匹配将每个样本都作为自身目标的一部分，因此其目标函数会将每个样本自身的梯度噪声计入功劳。这正是导致训练误差过于乐观的协方差惩罚，只不过现在它位于梯度 Gram 矩阵的对角线上：它会引导选择过程偏向噪声最大的样本，并使完整批次成为该目标函数所能达到的最佳解。修复这一问题无需额外成本。对于每个样本而言，其他候选样本构成了数据分布的独立样本，因此移除对角线后，匹配目标就变成了一个关于更新相对于总体梯度误差的无偏估计。该留一法目标的最小化解会根据样本梯度的信噪比（SNR）为其赋予权重；当样本级 SNR 的异质性足够高时，半个批次能够得到比整个批次误差更低的更新；我们给出了确切条件。我们基于这一原理构建了 \method{}。它在常规反向传播过程中，使用 Adam 预条件器的度量计算 Gram 矩阵，以贪心方式选择一个带权子集，并提供 $(1-e^{-\gamma})$ 保证，同时不使用任何留出数据。在四项微调任务和七个参数量介于 1.5B 至 8B 之间的骨干模型上，LOOM 相比全批次训练，在 Llama-3.1-8B 和 Qwen2.5-7B 上分别提升 2.3 和 2.4 个百分点；相比所有样本内梯度匹配方法提升 2.4 个百分点，相比验证集引导的 GREATS 和 OPUS 提升 1.6--2.0 个百分点；此外，其选中的注入标签噪声比例低于基础比例的五分之一。