扩散中的置信度局限

离散扩散，包括重掩码和均匀状态采样器，通过每一步写入多个 token 位置来生成序列：从每个位置的分布中分别采样，并根据这些相同的分布选择要写入的位置。对于普遍感兴趣的领域（像素、音素或单词），token 之间存在内在依赖关系。我们证明，只有当所写入的位置在给定已固定 token 的条件下相互独立时，一步生成才与训练分布一致；任意逐位置分布的乘积都无法匹配具有依赖关系的分组；此外，逐位置分布无法确定一个分组是否具有依赖关系：两个联合分布可以具有完全相同的逐位置边缘分布，却在会出现哪些值的组合这一点上有所不同。在联合分布可通过闭式表达式获得的合成任务 ScanAndAdd 上，我们验证了由置信度排序所写入的每个包含两个或更多未确定位置的分组都具有依赖关系，并测得生成分布的总变差距离达到采样噪声下限的 $29\times$，而逐样本指标为 $1.0$。