SQuAT：球面格向量量化感知训练

arXiv:2610.31412v1 公告类型：新论文 摘要：向量量化（VQ），尤其是基于格的方法，为低比特大语言模型（LLM）提供了良好的率失真权衡，但其在量化感知训练（VQ-QAT）中的行为仍缺乏深入理解。我们将格 VQ-QAT 扩展至十亿参数级 LLM 和数十亿词元的训练规模，并提出 SQuAT，这是一种形状—增益 VQ-QAT 方法，在训练时分别为形状和增益使用独立的直通估计器（STE）。SQuAT 将权重分解为方向和幅值：使用由 $E_8$ 衍生的球面码本量化归一化方向，同时使用低比特标量量化器独立量化增益。我们表明，与应用于整个量化器、忽略形状—增益结构的标准 STE 不同，这些独立的 STE 会对方向产生切空间更新，从而形成一种隐式的球面（黎曼）优化。为实现可扩展性，我们开发了一种分布式精确最近邻分配方案，其中各工作节点量化互不重叠的权重块，并且仅传输离散索引，使 VQ-QAT 训练加速 12.8$\times$，并使我们能够将其扩展至 100 亿词元。在经过指令微调的 LLaMA-3.2-1B/3B、Qwen3-4B 以及基础模型 Qwen3-1.7B 上，在量化器和初始化均相同的条件下，SQuAT 始终优于采用标准 STE 的 VQ-QAT，并达到了当前最先进的 VQ-QAT 准确率。