Fisher 引导的大语言模型持续预训练次模数据选择

arXiv:2610.02593v1 公告类型：新 摘要：数据选择已经是大语言模型训练中的核心瓶颈，因为网络规模语料库充满噪声，而 token 预算有限。在持续预训练（CPT）中，数据选择进一步成为遗忘控制问题：选择不当的目标领域语料库可能会覆盖预训练检查点中已经编码的能力。现有的 CPT 实践要么使用困惑度等与参数无关的标量为候选数据评分，要么通过消耗大量额外的通用领域回放 token 来缓解遗忘。两种策略都没有直接考察在候选数据上训练将如何改变模型参数。我们发现，基于损失的数据选择会使 CPT 后的 Fisher 对角线在预训练模型已经固守的高 Fisher 坐标上向下漂移，同时基本不影响低 Fisher 坐标。这种不对称性揭示了灾难性遗忘在参数空间中的作用机制。受此观察启发，我们提出了一种具备 Fisher 感知能力的 CPT 选择器，将每个候选样本的梯度分解为锚定分量和前沿分量：前者衡量沿已固守参数方向的扰动，后者衡量在不受约束的低 Fisher 子空间中的更新能力。我们使用对数行列式次模目标聚合这些信号，并通过可扩展的流式数据选择流程在单次遍历中对其进行优化。在 TinyLlama-1.1B 和 Llama-3.1-8B 上使用医学数据进行 CPT 时，我们的选择器在提升目标领域质量的同时，限制了在留出的预训练基准上的遗忘。更重要的是，与具备遗忘感知能力的回放策略相比，它显著提高了 token 效率。仅使用 1B 个选定 token，其在适应效果和遗忘控制方面就已经超过了使用 10B 个 token 训练的回放策略，实现了 10 倍的 token 效率优势。