通过逐层随机特征模型模拟深度神经网络训练中的尖峰
Simulating Training Spikes of Deep Neural Networks by Layer-wise Random Feature Models
精选理由
研究用重尾随机特征模型复现训练尖峰，并据此预测异常、优化 Adam 的 β₂ 调度。
AI 摘要
arXiv:2610.13524v1 公告类型：新论文 摘要：大语言模型（LLMs）预训练过程中损失间歇性出现的“尖峰”，在理论和实证层面仍是一种尚未解明的现象。本文表明，输入服从重尾幂律分布的简单二次模型可以复现这些尖峰。我们提出了一套理论框架和仿真算法，利用此类二次模型对深度神经网络（DNNs）的逐层训练动态进行建模。在一项针对 Adam 超参数配置的案例研究中，该配置将 $\beta_2$ 设为接近 $1$ 的值，已知会在 Transformer 语言模型中引发尖峰；我们的仿真成功地从给定检查点出发，预测出了预示尖峰行为的隆起。此外，我们根据观测指标推导出一种合适的 $\beta_2$ 调度方案，并通过实证验证了其性能改进效果。