离散扩散语言模型与自回归语言模型的能耗分析
Energy Consumption Analysis of Discrete Diffusion and Autoregressive Language Models
精选理由
对比扩散与自回归模型的推理能耗，揭示长文本生成中的能效差异及 KV 缓存的节能作用。
AI 摘要
arXiv:2610.19855v1 公告类型：新论文 摘要：随着大语言模型（LLMs）的规模持续扩大，其推理过程中的能耗已成为一个关键问题。虽然自回归（AR）模型是行业标准，但扩散语言模型（DLLMs）已成为一种很有前景的替代方案，能够并行生成词元。本文对扩散模型（LLaDA-8B、Dream-7B）及其对应的 AR 模型（Llama-3.1-8B、Qwen-2.5-7B）开展了能耗基准对比测试。我们分析了模型架构、KV 缓存优化与以每词元焦耳数衡量的能效之间的权衡。结果表明，在较长序列（200–600 个词元）下，扩散模型的能耗为 2.5–2.7 焦耳/词元，能效约为使用 KV 缓存的 AR 模型（5.3–5.7 焦耳/词元）的 2 倍。对于较长序列，KV 缓存能为 AR 模型带来显著收益，使能耗降低 50%–70%。