arXiv cs.LG精选73

超越半圆律:具有预设平衡分布的自由扩散模型

Beyond the Semicircle: Free Diffusion Models with Prescribed Equilibria

· 7天前

精选理由

为谱数据扩散模型提供可指定目标平衡分布的理论与方法,并以协方差矩阵谱验证其有效性。

AI 摘要

arXiv:2510.22778v4 公告类型:替换并交叉列入 摘要:越来越多的机器学习对象——协方差矩阵与 Gram 矩阵、核矩阵与注意力矩阵、MIMO 信道矩阵、密度算子——天然应被视为谱,而非坐标向量。通过逐坐标扰动特征值来为此类数据构建去噪扩散模型,并不只是形式上优雅与否的问题:它会收敛到错误的极限,因为特征值之间会相互排斥,而非独立运动。自由概率论提供了正确的前向过程,其中自由卷积取代经典卷积,Voiculescu 共轭变量取代得分函数,但常系数自由扩散本身也存在一个隐含限制:无论目标分布是什么样,其唯一可能的平衡分布都是半圆律。我们证明,依赖状态的自由波动率可以消除这一限制。对于任意足够正则且具有紧支撑的目标概率分布,我们通过闭式 Hilbert 变换漂移项,显式构造一个以该分布为平稳谱分布的自由 Fokker--Planck 流。在附加的凸势条件下,该构造可解释为全局弛豫扩散,并具有逆时间动力学和可训练的得分函数。这一推广是实质性的,而非表面修饰:任何谱变量变换都无法将其化归为常系数情形;而且,它仅对一个得到显式刻画的系数族构成 Wasserstein 梯度流,该系数族不包含任何有界的非常数成员。我们以 Marchenko--Pastur 律——各向同性样本协方差矩阵的极限谱分布——为例实现该构造,并通过数值实验验证了以下方面:自由扩散与逐坐标扩散之间的差异、在多种矩阵尺寸下驱动逆时间矩阵动力学的精确且与维度无关的得分函数、按设计形成的 Marchenko--Pastur 平衡分布,以及利用学习到的得分函数进行端到端生成。

查看原文(arXiv cs.LG)