All for 1-Bit：迈向真正的 LLM 1 比特训练后量化

大型语言模型（LLM）取得了显著进展，但其巨大的存储和内存带宽需求仍然阻碍着高效部署。权重二值化是一种有前景的解决方案，但现有基于二值化的训练后量化（PTQ）方法通常由于隐藏开销而远超名义上的 1 比特存储目标。为弥合这一差距，我们提出了 All for 1-Bit（AF1），一种面向 LLM 的真正 1 比特 PTQ 框架。AF1 由两个互补组件构成：（1）空空间感知二值分解（NABF），通过 Hessian 感知的代理重参数化、空空间感知的二值分解以及仅缩放的全局重构来改进二值重构；（2）分层 Shapley 分配（HiSA），利用分层 Shapley 敏感度分配结构容量。二者结合后，使模型在 PTQ 设置下严格遵守 1.0-BPW 预算的同时保持准确率。在 LLaMA、Qwen 和 Gemma 系列上的实验表明，AF1 在困惑度和零样本准确率方面始终优于现有基于二值化的 PTQ 方法。与 BF16 相比，在所评估的模型中，AF1 平均实现了 2.5 倍的推理加速，并将内存占用降低了 90% 以上，为 LLM 真正的 1 比特压缩走向实际部署提供了可行路径。用于复现实验的代码位于 https://github.com/Kishon-zzx/AF1。