DualQuant：面向 LLM 的双尺度免校准权重与激活量化

arXiv:2610.13767v1 公告类型：新稿 摘要：在原生支持 4 位运算的加速器上进行低比特推理，需要同时量化权重和激活，才能充分发挥这些格式带来的吞吐量优势。尽管训练后权重量化已得到广泛研究，激活量化仍然更具挑战性，且通常需要校准数据。在本研究中，我们提出 DUALQUANT，一种双尺度、免校准的训练后量化框架，可直接最小化权重重构均方误差（MSE），并由此直接得到用于激活量化前的逐通道激活重缩放因子。我们的关键观察是，通过最小化权重重构误差获得的缩放因子能够有效地对激活进行重缩放，从而无需校准数据即可实现具有竞争力的激活量化。我们将 DUALQUANT 表述为一个不可微的权重重构问题，并基于变量分裂和块坐标下降开发了一种高效求解器，其中每个子问题均具有闭式更新解。DUALQUANT 提供了一种统一算法，支持包括完整 MX 系列和 NVFP4 在内的多种格式。据我们所知，DUALQUANT 是首个正式支持 MX 和 NV 块格式的双重缩放方法。在 WikiText-2、C4 和零样本下游任务上对 Llama 和 Qwen 模型的评估表明，DUALQUANT 在大多数模型和格式上的精度达到或超过了基于校准的 SmoothQuant，并显著优于免校准基线方法，尤其在 MX 和 NV 块格式上取得了大幅提升。我们在 RTX 4090 上，使用针对 Llama-3.1-8B 的实际打包 W4A4 推理路径验证了这些收益。该实现的精度与伪量化非常接近，同时相较于 BF16，内存占用最多降至约 1/2.61，吞吐量最高提升至 2.46 倍。