arXiv cs.AI精选83

D3D:用于异步推测解码的解耦扩散草拟

D3D: Decoupled Diffusion Drafting for Asynchronous Speculative Decoding

· 17小时前

精选理由

D3D让草稿生成与验证异步并行,在保持高接受率的同时显著提升大模型解码速度。

AI 摘要

以目标模型为条件的扩散草拟器可并行预测候选词元,但每个新区块都必须等待目标模型隐藏状态更新。这迫使草拟与验证顺序执行,即使每个区块只需一次前向传播即可生成,加速效果仍然受限。我们提出 D3D,这是一种独立的扩散草拟器,消除了这种轮次间依赖。D3D 将分块去噪与辅助自回归监督相结合,无需目标模型的隐藏状态即可获得较长的已接受前缀。这种独立性使 D3D 能够在验证期间,通过一次打包前向传播草拟后续区块,从而实现异步推测解码。我们根据各层对接受长度的影响逐步剪枝,以降低打包草拟的成本。在以 Qwen3-8B 为目标模型的三个基准测试中,从 36 层中移除 5 层后,仍保留了超过 99\% 的平均接受长度。在七个基准测试中,以 Qwen3-8B 和 Qwen3-32B 为目标模型时,D3D 的平均解码加速比分别为 5.00$\times$ 和 5.71$\times$,而 DFlash 分别为 4.03$\times$ 和 3.67$\times$。在 GSM8K 上,以 Qwen3-32B 为目标模型时,加速比达到 7.48$\times$。代码已公开发布于 https://github.com/fudan-generative-vision/D3D。

查看原文(arXiv cs.AI)