稳定性边缘的 Adam：自适应反馈、可证明的振荡与梯度反转

arXiv:2608.20638v2 公告类型：替换 摘要：全批量 Adam 的稳定性边缘（EoS）现象已被广泛观测到，但其背后的动力学机制仍缺乏充分理解。在本文中，我们指出，Adam 的二阶矩自适应是一种负反馈机制，会推动动力学过程趋向稳定性边界。我们通过“活跃曲率”刻画这一机制，即沿预条件梯度方向的预条件曲率，并在逐步丰富的设置下建立严格刻画：带动量的秩一二次函数、对角二次函数（在此情形下活跃曲率与锐度相分离），以及一般目标函数。值得注意的是，该机制预示了稳定性边缘附近全批量 Adam 的“梯度反转”：连续梯度反复指向几乎相反的方向；我们在全连接网络、ResNets、ViTs、LSTMs、GPT-2 medium 以及 Adam 系列优化器中都观察到了这一现象。与这一图景一致，对迭代点取平均会抑制这些快速振荡，并产生更平滑且更低的损失曲线。总之，这些结果通过活跃曲率和梯度反转，为全面理解 Adam 在稳定性边缘处的动力学行为迈出了重要的第一步。