Omni-Diffusion-Distill：统一多模态扩散大语言模型的少步蒸馏

arXiv:2610.10990v1 发布类型：cross 摘要：统一多模态扩散大语言模型（dLLMs）通过单一架构同时支持图像生成和多模态理解，但其迭代解码需要进行数十至数百次前向传播。现有的少步蒸馏方法大多聚焦于图像生成或文本生成中的一者，因此，如何在保留生成与理解能力的同时，将完全离散的多模态 dLLM 压缩为单一高效的学生模型，仍不明确。我们提出 Omni-Diffusion-Distill，一种统一的两阶段蒸馏框架，在大幅降低统一多模态 dLLM 推理成本的同时，保留强大的生成与理解能力。Omni-Diffusion-Distill 在离散 token 空间中，对图像和文本的生成与理解蒸馏进行统一。第一阶段中，学生模型通过重放缓存的教师模型轨迹进行训练，以跳过部分解码步骤；第二阶段中，学生模型沿自身 rollout 过程中的中间状态进行进一步优化。我们还通过一对碰撞惩罚和熵匹配引导，解决统一蒸馏中的两类性能退化问题：前者减少并行文本解码中的重复，后者防止图像生成中因拟合锐化后的教师分布而导致的熵坍缩。Omni-Diffusion-Distill 在多模态 dLLM 的解码效率与生成、理解性能之间实现了业界领先的权衡，将图像生成的解码步数从 128 步降至 8 步，并将多模态理解的解码步数从 512 步降至 64 步，实现 18.2 倍和 21.2 倍的实际运行时间加速。在这些步数预算下，其在文生图生成任务的 GenEval 和 DPG-Bench 上分别取得 0.828 和 83.0 的分数；在多模态理解任务中，其在 MM-Vet 和 COCO captioning 上的 GPT 评判分数分别达到 20.0 和 57.2（在相同步数下，教师模型为 28.4 的两倍）。