均匀离散扩散模型在估计有效支撑集较小的分布时具有极小极大最优性

arXiv:2610.07655v1 公告类型：交叉发布 摘要：离散扩散模型已成为在离散乘积空间上进行生成建模的一种实践成效显著的框架，但其统计泛化性质仍缺乏深入理解。文本或生物序列等现实世界中的离散数据，由于语义或物理约束，往往集中在规模极其庞大的环境空间中的一小部分区域；然而，现有界未能刻画这种分布结构，反而随环境空间的规模增长，导致误差界几乎失去实际意义。针对这一缺口，我们为均匀离散扩散推导了由有效支撑集大小 $s_n(P_0)$ 决定的统计保证。均匀离散扩散与掩码扩散是两种主流的离散扩散范式，而 $s_n(P_0)$ 是一种依赖于样本量的分布复杂度度量。给定来自 $[K]^d$ 上未知数据分布 $P_0$ 的 $n$ 个独立同分布（i.i.d.）样本，我们证明，通过适当选择网络规模和超参数，期望总变差（TV）损失的量级为 $O(\sqrt{s_n(P_0)/n})$，而期望 Kullback--Leibler（KL）散度的上界为 $O(\frac{1}{n}s_n(P_0)\log(eK^d/s_n(P_0))\log n)$。此外，我们证明，TV 收敛速率是极小极大最优的，而 KL 收敛速率在相差一个 $\log n$ 因子的意义下是极小极大最优的。这些上界与下界共同表明，对于有效支撑集较小的分布，均匀离散扩散能够成功规避维数灾难：TV 误差速率仅通过 $s_n(P_0)$ 依赖于环境状态空间的规模，而相应的 KL 收敛速率仅额外引入了对环境状态空间规模的对数依赖。