arXiv cs.LG精选75

高斯混合模型中随机重加权 NPMLE 的多对数稀疏性

Polylogarithmic Sparsity of Randomly Reweighted NPMLEs for Gaussian Mixtures

· 11天前

精选理由

随机微扰让高斯混合NPMLE实现多对数级稀疏,兼顾拟合与近参数估计。

AI 摘要

arXiv:2610.01088v1 公告类型:cross 摘要:高斯位置混合的非参数最大似然估计量(NPMLE)在无穷维混合分布空间上最大化似然函数。使似然函数达到最大值的混合分布可能不唯一,而其原子数的经典上界随样本量 $n$ 线性增长。我们证明,对似然函数施加一个趋于零的随机扰动,可以得到精确的多对数稀疏性。由此得到的随机重加权 NPMLE 最大化一个加权似然;在我们的分析中,独立权重取为 Gamma 分布,并且随着 $n$ 增大而集中于 1 附近。以高概率,该估计量是唯一的,在 $d$ 维空间中具有 $O\{(\log n/\log\log n)^d+\log n\}$ 个原子,几乎最大化普通似然,并且以仅相差对数因子的参数速率估计混合密度的 Hellinger 误差。这种稀疏性属于估计量本身,而非其近似,并且无需加入支持集惩罚。证明基于正核混合的有效维数原理:拟合值的低维变化控制最大化集合中每个极点的支持集。数值示例验证了重加权 NPMLE 的 Hellinger 风险和支持集大小与普通 NPMLE 相当。

查看原文(arXiv cs.LG)