OpenEuroLLM 模型的扩展定律推导：学习率、批大小和损失

我们研究了在以英文为主的语料库上预训练稠密大语言模型时，学习率和批大小的扩展行为。除了对学习率和批大小的联合最优值进行扩展分析外，我们还研究了它们随模型容量和数据规模变化的边际演化，并构建了一个能够刻画这些关系的模型。由于我们采用了 Warmup-Stable-Decay 学习率调度，我们进一步考察了在广泛的超参数设置、模型和数据预算范围内，学习率退火所带来的收益，以及最优学习率和批大小是否会在稳定阶段与衰减阶段之间迁移。最后，我们刻画了损失对模型容量和数据集大小的依赖关系，评估了近期提出的、显式建模二者相互作用的扩展形式。我们发现，这些方法在我们的实验中对于同时捕捉欠训练和过训练两种情形尤为有效。这项研究为未来 OpenEuroLLM 模型的开发建立了首个基线和扩展流程。我们已将本研究使用的全部预训练运行结果开源。