RanSOM：用于约束与无约束优化的随机缩放二阶动量

arXiv:2602.06824v3 公告类型：替换并交叉列出 摘要：二阶动量通过 Hessian 向量积（HVP）修正动量相对于当前梯度的滞后，但现有修正方法要么要求 Hessian 满足 Lipschitz 条件，要么需要在辅助点进行额外的前向和反向传播。我们证明，随机化步长可以消除这一权衡：如果步长服从均值为 $\eta$ 的指数分布，则一个 Stein 型恒等式表明，在新迭代点计算的一次 HVP 乘以 $\eta$，就是梯度变化的一个估计，且该估计关于步长的期望是无偏的；此外，该 HVP 与下一次梯度计算共享前向传播。由此得到的方法 RanSOM-E 适用于归一化步、符号步和 Muon 型步，而采用 Beta 分布的变体 RanSOM-B 则可使 Frank-Wolfe 迭代点保持可行。对于梯度满足 Lipschitz 条件、且梯度噪声和 Hessian 噪声具有重尾分布、尾指数为 $p, q \in (1,2]$ 的目标函数，RanSOM-E 无需 Hessian 满足 Lipschitz 条件，也无需裁剪，即可对每一对 $(p,q)$（包括 $p \neq q$）达到最优的预言机复杂度指数（当 $p = q = 2$ 时为 $\mathcal{O}(\varepsilon^{-3})$）。在 CIFAR-10 上使用 ResNet-20 的实验中，我们未检测到其与现有二阶动量方法之间的准确率差异，且其平均更新时间低于辅助点方法。