超越数据调度：通过损失重加权在数据混合上实现快速 LLM 预训练

arXiv:2610.32141v1 发布类型：新 摘要：大型语言模型通常通过连续的预训练阶段获得专门能力，但这种提升可能以遗忘早期知识为代价。在本文中，我们研究了这样一种可能性：在保持数据接触量不变的同时，改变每个领域对学习过程的贡献程度，能否改善这种权衡。我们发现，在受控的知识--数学实验中，损失重加权能够产生一个单一检查点，其知识和推理得分均超过沿任一阶段轨迹所取得的最佳得分。这表明，除了数据混合比例之外，还存在一种独立的控制手段，而仅靠数据混合比例无法捕捉到这一点。在此发现的基础上，我们提出 LARE（固定接触量下的损失自适应重加权），根据运行中的损失统计信息自动调整领域权重。受梯度噪声理论分析的启发，其归一化逆平方根规则能够平衡相对损失尺度，同时不改变采样混合比例，也无需额外运行来搜索权重。在知识、数学和代码任务上，对于使用 240B tokens 训练的 1.5B 模型，\Method{} 在评估的全部五个基准上均取得提升；相较于匹配的直接混合方法，平均提升 +7.84 个百分点，其中 GSM8K 提升 +17.06 个百分点，MATH 提升 +9.00 个百分点。这些发现表明，调整领域损失尺度能够在不增加领域数据接触量的情况下，提升联合能力。