FIGFLEX：与低比特 LLM 量化协同设计的混合精度 FP-INT GEMM 加速器

arXiv:2610.30480v1 公告类型：交叉发布 摘要：仅权重量化将 LLM 的激活值保留为浮点数，并将权重存储为低比特整数，从而使主要工作负载转变为浮点数-整数（FP-INT）通用矩阵乘法。近期的量化器通过混合精度实现了平均 2–3 比特的精度，但硬件尚未跟上：GPU 在张量核心执行乘加运算之前，会将权重反量化为 FP16，而位并行 FP-INT 加速器仅以单一权重精度运行，因此更少的比特数只能节省内存，无法减少计算。本文提出 FIGFLEX，这是一种通过算法与硬件协同设计的混合精度加速器，其位并行数据通路的吞吐量随精度降低而提升。FIGFLEX 的贡献包括：（1）采用移位加法、基数为 4 的方式重新表述 FP-INT 乘法，将乘加运算融合为统一且精度灵活的部分积归约过程，使部分积数量减少约一半；同时提出一种新颖的 INT3 优化，利用基数为 4 的方案在该精度下留下的闲置数据通路；（2）一种混合精度量化器，根据 GPTQ 无法补偿的误差为每个通道组分配位宽，并采用逐输入通道的列缩放，其二次幂归一化可避免缩放后的激活值落入 FP16 的次正规数范围，使量化模型能够直接映射到 FIGFLEX 的数据通路，同时保持与在 GPU 上运行相同的精度。在 LLaMA-2-7B 上，FIGFLEX 在平均 3 比特和 2 比特精度下的 WikiText-2 困惑度分别达到 5.85 和 8.77，低于 GPTQ、AWQ、SliM-LLM、AMQ 和 QuIP#（未经微调）；同时，在 3 比特混合精度模型的线性层 GEMM 运算中，其全芯片单位面积吞吐量分别达到 AxCore 和 FIGLUT 的 1.56 倍和 1.42 倍。