D3D：用于异步推测解码的解耦扩散草拟

arXiv:2611.06425v1 公告类型：交叉发布 摘要：以目标模型为条件的扩散草拟器能够并行预测候选词元，但每个新块都必须等待目标模型隐藏状态更新。这迫使草拟与验证顺序执行，即使每个块仅需一次前向传播即可生成，加速效果仍然受限。我们提出 D3D，一种消除了这种轮次间依赖的独立扩散草拟器。D3D 将分块去噪与辅助自回归监督相结合，无需目标模型隐藏状态即可获得较长的被接受前缀。这种独立性使 D3D 能够在验证期间，通过一次打包前向传播草拟后续块，从而实现异步推测解码。我们根据各层对接受长度的影响逐步剪枝，以降低打包草拟的成本。以 Qwen3-8B 为目标模型时，从 36 层中移除 5 层后，在三个基准测试中仍可保留超过 99% 的平均接受长度。在七个基准测试中，以 Qwen3-8B 和 Qwen3-32B 为目标模型时，D3D 的平均解码加速比分别为 5.00 倍和 5.71 倍，而 DFlash 分别为 4.03 倍和 3.67 倍。在 GSM8K 上，以 Qwen3-32B 为目标模型时，加速比达到 7.48 倍。代码已公开发布于 https://github.com/fudan-generative-vision/D3D。