BiLoCo：用于训练后量化的二值低秩校正

arXiv:2610.32243v1 公告类型：新 摘要：FP4 训练后量化（PTQ）已成为降低大型语言模型推理成本的关键技术，尤其是在支持原生 FP4 张量核心的 Blackwell GPU 上。然而，直接将模型进行 PTQ 至 FP4 仍会造成明显的精度差距。近期针对 SVDQuant 的研究通过添加利用 SVD 获得的高精度低秩校正，缓解了 FP4 量化对扩散模型引入的误差。然而，这种高精度低秩校正每个秩需要许多比特，并且运行在与主 FP4 GEMM 相同的张量核心上。我们提出 BiLoCo，一种低秩校正方法，其左右因子以二值 ${\{\pm 1\}}$ 符号向量存储，而非 BF16 数值。对于每个秩一分量，这种有符号格式所需的存储空间减少了 $16{\times}$；由于校正现在由加法和减法构成，因此可以在 CUDA 核心上与 FP4 张量核心 GEMM 并发运行。在 4B--72B LLM 上，对于 PTQ，BiLoCo 的效果不逊于内存占用匹配的 SVDQuant，甚至有所提升。我们在 B300 上将 BiLoCo 实现为融合的单一内核：FP4 GEMM 在张量核心上运行，位打包校正在同一次启动的 CUDA 核心上运行，二者在 GEMM 退出阶段合并。当批大小为 $1$ 时，对于不超过 $512$ 的所有秩，该融合内核相比仅使用 FP4 的 GEMM 最多慢 $11\%$。在秩为 $128$ 时，当批大小不超过 $8$，其速度最多慢 $20\%$。