Adam距离自然梯度下降有多远？

arXiv:2610.00004v1 公告类型：新 摘要：Adam 是深度学习中的标准优化器，但其与自然梯度下降（NGD）之间的几何关系仍存在尚未解决的问题。我们将 Adam 的完整更新规则（包括动量）视为一种对角经验 Fisher 近似，并将其置于对角截断、经验标签替换和时间滞后的影响下进行研究。利用尺度不变的 $\gamma(\Delta\theta)$ 度量，我们在四种损失景观中测量 Adam 与真实 NGD 之间的几何偏差：条件良好的线性回归、条件不良的线性回归、逻辑回归和非凸小型神经网络。Adam 的几何轨迹取决于具体情境。在条件良好的设置中，偏差保持较低；而在条件不良的情况下，偏差显著增大，在神经网络中达到约 $10^3$ 的失配程度。较高的几何漂移与较慢的初始优化相关，但不会损害最终目标最小化；Adam 始终能够达到较低的损失。此外，相较于标准经验 Fisher（EF），改进的经验 Fisher（iEF）能够沿着更稳定的路径运行，而 EF 则经常出现振荡或发散。我们的结果表明，Adam 的实际优化能力可能源于结构近似误差与动量平滑之间的平衡，而不是对自然梯度路径的紧密跟踪。