为什么自适应批处理有助于 LLM 预训练？从无界方差的视角出发

arXiv:2610.02355v1 公告类型：新稿 摘要：在大型语言模型（LLM）预训练中，随训练过程增大批大小是一种常见做法，但其成功背后的理论依据尚未得到充分理解。随机优化分析通常假设随机梯度方差一致有界，然而近期证据表明，这一假设在许多实际非凸问题中并不成立。Blum--Gladyshev（BG-$0$）噪声模型允许方差随距初始化点的距离呈二次增长，从而放宽了这一假设，也表明批大小调度器可以通过控制训练期间的方差增长发挥作用。然而，这种增长假设在实践中可能过于保守。我们通过实证研究考察了 LLM 预训练中的方差增长，并观察到，具有可调增长指数的广义 BG 模型能够更精确地描述实际噪声行为。受此观察启发，我们提出了广义 BG-$a$ 噪声模型，它在有界方差（$a=0$）与 BG-$0$ 噪声（$a=2$）之间插值。在 $L$-光滑性条件下，我们推导出一个信息论下界，其预言机复杂度为依赖增长指数的 $\Omega(\epsilon^{-(4+a)})$；同时，通过在迭代点远离初始化点时增大批大小，我们建立了一个在 $\epsilon$ 依赖关系上与之匹配的上界。最后，我们提出一种自适应批大小调度器，通过在训练过程中动态调整批大小来控制方差增长。在 C4 上对参数规模最高达 10 亿的 OLMo2 模型进行预训练时，在相同的 token 预算下，我们的调度器取得了低于小批量和大批量训练的验证损失，同时所需迭代次数不到小批量训练的 10\%。