去噪的是块，而非 token：采用分支式 token 实现的高效压缩连续扩散

arXiv:2610.09311v1 公告类型：新 摘要：扩散语言模型（DLM）通过迭代式并行细化生成文本，相较于自回归（AR）解码，有望实现更高的吞吐量。然而，大多数 DLM 仍然为每个 token 保留一个生成状态，因此每个去噪步骤都要处理与输出序列等长的状态序列，限制了并行生成带来的吞吐量提升。连续 DLM 提供了额外的自由度：单个连续状态可以表示多个 token，使扩散过程能够在更短的潜变量序列上运行。我们提出 \emph{Branching Latent Diffusion (BLD)}，利用这一灵活性将长度为 1024 个 token 的序列压缩为仅 64 个块级潜变量，缩减了 $16\times$。BLD 将潜变量压缩与\emph{分支式 token 实现}相结合：每个潜变量由一个局部 AR 分支解码，所有分支并行运行。由于高度压缩会使联合潜变量生成变得困难，BLD 分组生成潜变量，并使每个组以此前生成的潜变量为条件。在相同 GPU 上进行端到端评测时，相较于规模相近的 ELF-L 基线，BLD 将生成 FLOPs 降低了 80 倍以上，并将吞吐量提升了 6 倍以上。与 AR 基线相比，BLD 的吞吐量提高了 6 倍以上，延迟降低了 4 倍以上。尽管进行了压缩，BLD 仍保持了具有竞争力的局部流畅性和多样性，但长程连贯性仍然具有挑战性。总体而言，BLD 表明，将扩散过程从 token 级状态迁移到压缩的潜变量序列上，能够显著提升长序列生成的效率。