arXiv cs.LG精选74

统计特征学习在均场 Langevin 动力学中的几何结构

The Geometry of Statistical Feature Learning in Mean-Field Langevin Dynamics

· 7天前

精选理由

揭示均值场朗之万动力学如何形成可恢复信号的特征,并给出高维回归样本率。

AI 摘要

arXiv:2606.31429v2 公告类型:cross 摘要:我们为监督回归中的统计特征学习引入了一种几何表述。特征学习通过基底--纤维分解来定义:基底是由训练产生的特征侧几何结构,纤维则是进行估计的已学习特征空间。我们针对球面均场 Langevin 动力学证明了这一性质,并将其视为负熵正则化经验风险的 Wasserstein 梯度流。在 Gaussian 多指标模型中,低温稳态分布集中于隐藏索引附近,形成多尖峰结构,并以高概率实现参数恢复,尽管负熵正则化会抑制集中现象。这种集中在温度 $\lambda\asymp 1$ 处发生尖锐转变。在 Gaussian 单指标模型中,稳态测度满足集中性质,其所在空间由奇偶性决定:要么是 $S_2^{d-1}$,要么是 $\mathbb{RP}^{d-1}$。由此诱导的已学习特征空间与回归信号对齐,并达到 $d/N$ 和 $Md/N$ 的速率(忽略对数因子)。

查看原文(arXiv cs.LG)