面向多语言 LLM 预训练数据选择的英语质量分类器适配

近年来，大语言模型（LLM）预训练的进展凸显了高质量训练数据在提升性能方面的作用。基于模型的过滤已被证明能够从 Web 规模语料库中有效筛选高质量子集，尤其适用于高资源语言；然而，低资源语言由于缺乏充足的标注数据而面临挑战。本研究探索将质量过滤扩展到 100 多种语言，提出了一种多语言适配方法，将现有的英语质量分类器转换为多语言版本。我们的方法以多语言文本为输入，以英语分类器应用于机器翻译文本后得到的分数作为标签，在 Transformer 仅编码器模型的嵌入之上训练一个小型多层感知机。我们的 1B、3B 和 8B 规模实验表明，该方法在不损害区域和文化知识基准表现的情况下，能够保持现有基于多语言模型的过滤基线在下游 LLM 基准测试中的性能。为进一步评估跨语言泛化能力，我们比较了高质量合成数据与 Web 样本的分类器分数，以及分类器分数与基于 LLM 的分数之间的相关性。结果表明，即使对于未包含在训练数据中的语言，该分类器也能学习其原始英语版本的评分标准。