快速行走，但要小心：理解掩码扩散中的并行采样

arXiv:2606.22976v2 公告类型：替换 摘要：本文使用图上的随机游走，作为一个可验证的沙盒，研究掩码扩散模型（MDM）中的并行采样策略。我们在来自固定图的随机游走样本上训练一个 MDM。模型从未接触过该图及其转移核，它们作为潜在结构，既可控又能够实现评估。该框架为生成的游走提供有效性检查，并通过估计转移核衡量分布保真度。利用简单图结构，我们从理论上证明，通过广泛使用的评分（如最低熵）进行并行解掩码，并不总是优于随机并行采样；即使拥有精确的条件概率，性能也严重依赖于由图诱导的条件依赖结构，而这一现象很难在 Sudoku 等基准测试中单独分析。我们还为 MDM 开发了无需训练的二分采样器，其采样步数关于序列长度呈对数增长；当学习到的边际分布准确时，对于随机游走，该采样器能够得到理论上精确的结果。在图游走任务上的实验表明，不同的并行采样器在不同图结构上表现更佳。在预训练 MDM 上的实验显示，二分式采样器在 OpenWebText 生成以及包括 GSM8K、MBPP 和 HumanEval 在内的推理基准测试中，实现了出色的速度与质量权衡。总之，这些结果利用图游走揭示了条件依赖是 MDM 并行采样的关键原则，并将这一洞见转化为高效采样器，使其能够迁移到语言生成与推理任务中。