不知道预言机光滑性的自适应方差缩减

arXiv:2610.13799v1 公告类型：cross 摘要：在平均光滑性条件下，方差缩减能够提高随机非凸优化的收敛速度。现有的自适应方差缩减方法专门针对平均光滑性设计，无法适应标准光滑性。本文研究如何在不知道光滑性常数或方差上界的情况下，使同一个算法适应这两种设置以及无噪声设置。给定梯度预算 $T$，我们提出一种两阶段方法。第一阶段比较两个独立梯度，并在它们的差异超过阈值时切换到归一化动量。该阶段不仅为标准光滑性和无噪声设置提供具有相应保证的候选点，还确保第二个方差缩减阶段中的期望函数值差距有界。由此得到的收敛速率在平均光滑性下为 $O(T^{-1/3})$，在标准光滑性下为 $O(T^{-1/4})$，在无噪声情况下为 $O(T^{-1/2})$。当 $T$ 未知时，我们提出一种双路径方法，在随机设置下以带对数因子的相应速率达到收敛。具体而言，我们使用方差缩减路径处理平均光滑性，并使用 AdaGrad-Norm 处理标准光滑性和无噪声设置。这两种方法都不会从初始点重新开始，也不要求每轮增加预言机调用次数。