SoloQ：无需校准的扩散语言模型量化

arXiv:2610.07121v1 公告类型：new 摘要：扩散大语言模型（dLLMs）通过基于双向扩散的词元生成，成为自回归语言模型的一种有前景的替代方案。然而，模型规模不断增大以及高昂的推理成本，使高效部署面临挑战：全序列去噪需要反复执行计算密集型的前向传播，而块扩散模型还会额外引入内存密集型的 KV-cache。因此，低比特权重-激活量化颇具吸引力，但现有的 dLLM 训练后量化方法依赖校准数据，尽管激活分布会随着掩码状态和去噪步骤的变化而发生偏移。我们提出 SoloQ，一种无需校准的量化框架，可将权重和激活映射到具有可预测边缘分布的归一化旋转基中，从而实现与数据无关的量化。SoloQ 将结构化 K-RPBH 旋转与轻量级重缩放校正相结合，以实现无需校准的量化。其可预测的旋转后分布既支持分布匹配码本，也支持硬件原生的 NVFP4。对于块扩散模型，SoloQ 进一步在提交时对 KV-cache 进行量化，在不扰动当前去噪块的情况下压缩持久化状态。在全序列 dLLMs（LLaDA 和 Dream）以及块扩散 dLLMs（Fast-dLLM v2 和 Nemotron-Labs-Diffusion）上，SoloQ 在 4 位量化下保持了准确率，并在知识密集型和推理密集型基准测试中优于基于校准的方法。使用 NVFP4 时，SoloQ 可将峰值内存最多降低 2.61 倍，并将端到端推理速度最多提升 2.24 倍。