具有尖锐界的定步长 SGD 稳态高斯近似
Sharp Stationary Gaussian Approximation for Constant-Stepsize SGD
精选理由
为恒定步长SGD的稳态误差与非高斯修正提供精确理论刻画。
AI 摘要
arXiv:2609.39144v2 公告类型：替换 摘要：我们证明了一个定步长 SGD 不变分布的尖锐高斯近似，其中有界加性噪声由一个外生的一致遍历 Markov 链生成。对于具有光滑、强凸目标函数、Lipschitz Hessian 以及非退化长期噪声协方差的情形，以步长平方根归一化后的中心化迭代点，在 1-Wasserstein 距离下与其极限高斯分布的距离为 $O(\sqrt{\alpha})$。证明结合了分块高斯比较与长期收缩性质。一个四状态例子给出了相匹配的下界，尽管其单时刻噪声边缘分布是对称的，且所有非零滞后自协方差都为零。在该例子中，相邻时刻的三阶混合矩产生了主导修正项。