TileQuant：以分块作为 LLM 混合精度训练后量化的精度分配单元

arXiv:2611.07217v1 公告类型：新发布 摘要：训练后量化（PTQ）可降低大语言模型（LLM）的部署成本，但要保持模型质量，就必须考虑权重敏感性的不均衡。统一精度 PTQ 使用单一的权重位宽，重要性感知 PTQ 在该位宽内调整缩放因子或重构权重，而按列混合精度则将选定的列保留为较高精度。然而，敏感性在列内也存在差异，因此保留整列也会保护敏感性较低的权重，而运行时异常值检测又会增加解码开销。为此，我们提出 TileQuant，这是一个无需训练的框架，为与硬件对齐的二维权重分块分配精度。离线校准提供两种评分方式：基于前向传播统计信息的输入激活感知评分，以降低校准成本；以及基于损失敏感性的梯度引导评分，以更好地保持模型质量。在每个投影的保留预算内，得分最高的分块保持为 16 位，其余分块使用 8 位。由此生成的映射指导权重重构，将其存入紧凑的权重缓冲区；计算内核复用这些缓冲区，执行原生整数运算和 16 位运算，并通过局部累加减少内存访问量。实验表明，TileQuant 的生成吞吐量达到原始模型的 2.66 倍。在语言建模、推理、长上下文检索和问答任务中，它保持了模型质量，并在多项任务上超越了量化模型和原始模型。这些结果支持选择既能捕捉局部敏感性、又能实现高效硬件执行的精度单元。实现代码：https://github.com/HanzhiZhang-Ulrica/TileQuant