arXiv cs.LG精选73

分离是一种 Riesz 能量:ICA 需要多少个环境?

Separation Is a Riesz Energy: How Many Environments Does ICA Need?

· 1小时前

精选理由

研究刻画 ICA 分离难度与环境数、样本量的关系,为多环境设计和识别困难成分提供理论依据。

AI 摘要

arXiv:2611.06228v1 公告类型:新论文 摘要:当所有独立分量均为高斯分量时,还能恢复它们吗?如果它们的方差随环境变化,答案是肯定的;但随着分量数 $d$ 增长,需要多少个环境、多少个样本?针对 $K$ 个协方差矩阵的联合对角化,我们回答了这两个问题。每个分量都有一个特征向量,由其在各环境中的方差构成。分离分量 $j$ 的代价是该特征向量的 Riesz 2-能量 $E_j$,即对其与其他各分量之间的成对 Fisher 信息的倒数求和。对于高斯源,在任意 $n$ 和 $d$ 下,$O(d)$ 中的任何估计量都无法优于 $cE_j/(n+E_j)$;而当样本量超过一个显式阈值时,对于任意混合,谱估计量都能在常数因子范围内达到 $E_j/n$,且无需已知这些特征向量(但需给定成对信息的下界)。由于特征向量位于 $K-1$ 维空间中,该速率遵循一条维数定律:对于分布充分分散的环境,当 $K=2$、$3$ 和 $K\ge4$ 时,速率分别为 $d^2/n$、$d\log d/n$ 和 $d/n$。关键在于特征向量所张成空间的维数,而非其数量;$\log d$ 个精心设计的环境即可使 $d\log d$ 个样本足够。相比之下,将协方差矩阵投影到单个线性组合上,其一阶代价为 $d^2/n$。在最高达 $d=1000$ 的模拟中,这些预测均得到验证;当 $n/d$ 达到数百量级时,$K\ge4$ 的联合对角化即可达到该速率。在任务态 fMRI 数据上,该能量能够指出哪些分量难以分离。

查看原文(arXiv cs.LG)