通过 Armijo 回溯获取方向曲率：一种低成本锐度探测方法与 Adam 的免校准学习率保护机制

arXiv:2607.03998v5 公告类型：替换 摘要：局部锐度由 Hessian 矩阵的最大特征值 $\lambda_1$ 定义，决定了稳定梯度更新的最大步长，但计算它通常需要运行 Lanczos 算法或计算 Hessian 向量积。然而，我们注意到，即使仅进行一次 Armijo 回溯线搜索，也只需几次前向传播就能获得这一信息，因为所接受的步长 $\alpha$ 能够在回溯因子所确定的乘性区间内，确定沿搜索方向的方向曲率。在 CIFAR-10、Fashion-MNIST 和 Imagenette 上，$\log\alpha$ 与 $\log\lambda_1$ 的 Pearson 相关系数达到 $-0.91$ 至 $-0.95$，即使去除每次运行中的趋势，相关系数仍保持在 $-0.60$ 至 $-0.70$。这使得我们能够以较低成本，对缓慢变化的锐度分量进行在线稳定性边缘估计。所采用的探测机制沿 Adam 的首步更新方向进行搜索，在初始化时执行一次，并在前 50 个优化器步骤期间再执行九次。学习率上限设为观测到的最小步长的两倍；在所研究的学习率范围（$10^{-3}$ 至 $3.0$）以及 GPT-2 预训练实验中，所有施加上限的运行均避免了发散；在通用架构分析中，有一种 MLP 架构仍对初始批次顺序敏感。该探测方案带来的开销约为百分之一，而当所设上限未实际触发约束时，优化器状态和首次更新均保持逐比特一致。该方案的所有参数均未针对任何特定架构进行微调；这正是其被称为免校准保护机制的含义。它旨在避免发散，而非提升准确率。在 GPT-2 规模下，多次测量还说明了为何仅在初始化时设定上限并不充分：方向曲率在前五个优化器步骤中显著上升，因此有必要设置一个短暂的试运行窗口。