CAST：用于 LLM 预训练的历史自适应谱裁剪
CAST: History-Adaptive Spectral Clipping for LLM Pretraining
精选理由
CAST利用优化历史自适应调整梯度谱裁剪，在大规模模型预训练中降低损失与梯度尖峰，并减少达到同等效果所需步数。
AI 摘要
arXiv:2610.19761v1 公告类型：新论文 摘要：软谱裁剪（SSC）可减小梯度的奇异值，但其效果取决于梯度尺度和裁剪阈值。我们提出 CAST（具有自适应尺度和阈值的裁剪），这是 SSC 的一种历史自适应扩展。CAST 利用 AdamW 先前的二阶矩设定行尺度和列尺度，并利用裁剪后输出的估计谱范数的指数移动平均值，为每个矩阵设定阈值。在 AdamW 更新之前，CAST 会恢复原始坐标。我们使用 838.9 亿个词元训练了一个总参数量为 190.8 亿的混合专家（MoE）模型。与九种梯度处理基线方法相比，CAST 实现了更低的训练损失和平均验证损失，且相对梯度尖峰最少。CAST 达到最佳基线方法最终平滑训练损失所需的步数减少了 7.2%。