基于 Transformer 的掩码扩散模型可被证明能够学习具有潜在结构的分布
Transformer-Based Masked Diffusion Models Provably Learn Distributions with Latent Structure
精选理由
研究证明，基于 Transformer 的掩码扩散模型能利用未知潜在结构高效学习复杂分布，缓解高维数据的样本需求。
AI 摘要
arXiv:2610.12544v1 公告类型：新论文 摘要：掩码扩散模型（MDMs）使用学习得到的掩码预测器，通过迭代地并行解除多个词元的掩码来生成离散数据。其输出包含两类误差：并行采样导致的并行化误差，以及由有限样本学习得到的掩码预测器产生的估计误差。现有理论分别处理这两类误差，且已有的统计界通常随大小为 $V$ 的词表上长度为 $L$ 的序列数量 $V^L$ 增长，因而受到维数灾难的困扰。在本研究中，我们建立了端到端的统计保证，表明基于 Transformer 的 MDMs 能够学习结构化分布，其样本复杂度由分布的潜在结构决定。具体而言，我们通过隐马尔可夫树的混合来建模这种结构，以捕捉各分量内部的潜在依赖关系以及不同分量之间的异质性。当数据分布能够由此类混合分布良好近似时，采用并行解掩码调度的基于 Transformer 的 MDM 仅需 $\widetilde{O}(LK_{\mathrm{par}}/\varepsilon)$ 个训练样本，即可实现以 KL 散度衡量的 $\varepsilon$ 精度采样，其中 $K_{\mathrm{par}}$ 是关于 $L$、$V$、隐藏状态数量和混合分量数量的多项式。Transformer 网络和采样过程均无需知晓树的拓扑结构或分量参数，从而能够自动适应未知的潜在结构。总体而言，我们的结果为 MDMs 在真实世界数据上的实际有效性提供了理论依据。