梯度 EM 在高维空间中学习高斯混合模型是否必须具有 $\sqrt{d}$ 级别的分离度？

arXiv:2610.07551v1 公告类型：交叉发布 摘要：使用期望最大化（EM）算法及其基于梯度的变体学习高斯混合模型（GMM），是机器学习中的一个基本问题。已知在模型分量数与真实 GMM 分量数一致的精确参数化设定下，随机初始化的（梯度）EM 无法学习多分量 GMM。近期研究已在使用更多分量的过参数化设定下证明了梯度 EM 的全局收敛性，前提是真实分量之间具有足够大的分离度。具体而言，真实分量之间的最小分离度须达到 $\Omega(\sqrt{d})$ 量级，其中 $d$ 为维度。本文表明，在高维设定下，这种对维度的依赖不可避免。具体来说，我们考虑一种混合 EM 算法，它使用标准 EM 更新混合权重，并使用梯度 EM 更新分量均值。对于任意 $\epsilon > 0$，我们证明，当维度足够大时，在最坏情况下，$\Omega(d^{0.5-\epsilon})$ 量级的分离度不足以保证总体梯度 EM 在随机初始化下于次指数时间内全局收敛，即使在过参数化情形下也是如此。我们的结果为在高维空间中通过梯度 EM 学习高斯混合模型所需的真实分量分离度确立了一个近乎最优的最坏情况下界。