自然梯度下降有多低效？从精确最优性到 \Theta(\sqrt{\log d}) 级发散

arXiv:2610.07228v1 公告类型：cross 摘要：自然梯度下降（NGD）是机器学习中常用方法的基础。对于双重平坦族，理想化的 NGD 在前向 Kullback--Leibler 目标函数上沿着混合测地线前进，而这条路径通常比最短的 Fisher--Rao 路径更长。我们通过定义低效比率 \(R \ge 1\) 来量化这一额外开销：即混合测地线的 Fisher 长度与 Fisher--Rao 距离之比，并根据参数维度 \(d\) 对端点对上该比率的上确界进行界定。一个张量判据确定了情形（I）的族，这类族处处满足 \(R=1\)：它们恰好是具有二次势或维度为一的族，例如固定协方差高斯族。对于非二次族，我们进一步证明了另外两种情形：（II）有界的三阶偏度加上有限的 Fisher--Rao 直径会导出与维度无关的界；以及（III）对于尺度族的乘积——包括高斯协方差族和 Gamma 速率族——\(R\) 以 \(\Theta(\sqrt{\log d})\) 的速度增长，并且随 \(d\) 无界增长。在每步 Fisher 弦长预算下，\(R\) 可转化为实际的计算成本：与沿 Fisher--Rao 测地线前进的优化器相比，NGD 至少渐近地需要多出 \(R\) 倍的步数。实验验证了全部三种情形：对于二次势族（I），\(R=1\) 达到机器精度；类别分布的界 \(\pi/(2\sqrt{2})\) 可以逼近但无法达到（II）；而采样得到的尺度乘积族的 \(R\) 随 \(d\) 增长，在长距离、高维移动中达到约 \(R \approx 1.5\)（III）。