作为随机序贯吸附的掩码扩散：一种用于并行解码的精确可解模型

掩码扩散模型通过逆转随机掩码过程来生成文本。与每次生成一个词元的自回归大语言模型不同，这类模型可以并行揭示多个词元，但代价是会产生误差，因为同时揭示的词元是独立采样的。我们表明，这种权衡可映射到受驱动多粒子系统的统计物理学框架中。(i) 对于任意数据，并行生成的误差就是生成过程相对于逆向掩码过程的熵产生。(ii) 对于马尔可夫数据，生成是一个具有带标记间隙的随机序贯吸附过程，我们求得了任意步数下的精确解。(iii) 当步数较多时，误差表现为缓慢驱动系统的耗散：去掩码调度起到驱动协议的作用，步数对应其持续时间，而误差由一个热力学度量决定，我们利用词元之间的互信息得到了该度量的闭式表达式。最优调度是这一度量的测地线。精确解揭示了文本中的相关性如何同时影响误差和输出质量。相关性延伸得越远，误差就越集中于生成初期。此时，以小步长起步的调度在路径误差和困惑度两方面都能获得更大的改善，并且需要更少的步数即可达到其渐近行为。