别丢掉 Dropout：优化层稀疏性以实现高效 LLM 训练与推理

层 Dropout（又称 stochastic depth）已被证明能够在语言和视觉 Transformer 中实现更快的训练、更高的准确率，以及对零样本层剪枝的鲁棒性。然而，随着模型和数据集规模不断扩大，Dropout——尤其是层 Dropout——在大语言模型（LLM）的预训练配方中基本消失了。尽管一些先前工作报告称 Dropout 可能会降低准确率，但尚无系统性研究对这一影响进行量化，更不用说缓解了。在本研究中，我们表明在最先进的 LLM 训练中应当使用层 Dropout，并为训练及后训练收益建立了最佳实践和扩展性分析。具体而言，在最优的层分布、时间调度和优化器超参数下，我们观察到在相同训练 FLOPs 下，层 Dropout 会带来更低的损失。对于给定的训练步数，LLM 可以在节省最高 25% 训练 FLOPs 的同时，实现更低或相近的验证损失。此外，层 Dropout 还能带来显著的后训练优化，例如提前退出、中间层跳过以及 self-speculative decoding，在几乎不损失准确率的情况下实现最高 1.5 倍的推理加速。通过超过 2400 次训练实验，覆盖从 271M 到 8.2B 参数的模型以及最高 160B tokens 的数据集，我们证明这些发现能够可靠地扩展到大规模训练场景。所有预训练实验均在 Cerebras CS-3 系统上完成。