SGD 能否应对重尾噪声？

arXiv:2508.04860v2 公告类型：replace-cross 摘要：随机梯度下降（SGD）是大规模优化的基石，然而，其在重尾噪声下的理论表现——这种噪声在现代机器学习和强化学习中十分常见——仍缺乏充分理解。在本研究中，我们严谨探究了原始 SGD 在不采用任何自适应改进的情况下，能否证明其在此类不利随机条件下取得成功。仅假设随机梯度的某个 $p \in (1, 2]$ 阶矩有界，我们针对凸、强凸和非凸问题类别，建立了（投影）SGD 的精确收敛保证。特别地，我们证明，在凸和强凸情形下，SGD 在最小假设下即可达到极小极大最优的样本复杂度，分别为 $\mathcal{O}(\varepsilon^{-\frac{p}{p-1}})$ 和 $\mathcal{O}(\varepsilon^{-\frac{p}{2(p-1)}})$。对于非凸目标函数，在标准光滑性和中心 $p$ 阶矩有界的条件下，我们证明 SGD 能以 $\mathcal{O}(\varepsilon^{-\frac{2p}{p-1}})$ 的复杂度收敛到一个平稳点；此外，我们还给出了一个与之匹配的、针对 SGD 的下界，表明对于任何确定性的正非递增步长调度，该收敛速率都无法改进。这些结果对“重尾噪声会使 SGD 失效”这一主流观点提出了挑战，并确立了原始 SGD 作为一种稳健且具有理论依据的基线方法——即使在方差无界的情形下也是如此。