基于 HiFloat4 格式的大模型量化校准

大语言模型（LLMs）的量化对于降低实际部署中的计算成本和资源需求变得日益重要。随着该领域受到越来越多的关注，研究界开始从 8 位量化迈向 4 位精度，推动了 MXFP4 和 NVFP4 等定制 4 位格式的发展。近期，HiFloat4（HiF4）作为一种具有竞争力的替代方案崭露头角，它采用具有三级缩放层次结构的块浮点（BFP）格式，从而实现了显著更大的动态范围。虽然量化可以大幅减少内存占用并加速推理，但往往会导致精度下降。因此，校准对于缩小低精度量化模型与全精度模型之间的性能差距至关重要。然而，现有校准方法主要针对 INT4 等整数精度格式进行设计和验证，由于 HiF4 采用分层 BFP 结构，这些方法缺乏对其的支持。本文研究了 HiGPTQ、HiAutoRound 和 HiFlatQuant 三种校准方法，以进一步改进基于 HiF4 格式的模型量化。大量实验表明，与直接进行 HiF4 转换相比，所提出的三种方法均能提高推理精度，将 HiF4 与 BF16 之间的差距缩小至 1% 以内，并且在多种模型和下游任务上优于当前最先进的 NVFP4 格式。