TileQuant：以分块为精度分配单元的 LLM 混合精度训练后量化
TileQuant: Tile as the Precision-Allocation Unit for LLM Mixed-Precision Post-Training Quantization
精选理由
以硬件对齐的权重块分配混合精度，在保留模型效果的同时提升大模型生成速度，助力低成本部署。
AI 摘要
训练后量化（PTQ）可降低大语言模型（LLM）的部署成本，但要保持模型质量，就需要考虑权重敏感性的不均匀性。统一精度 PTQ 使用单一的权重位宽，重要性感知 PTQ 在该位宽内调整缩放因子或重构权重，而列级混合精度则将选定的列保留为更高精度。然而，列内的敏感性也存在差异，因此整列保留也会保护敏感性较低的权重，而运行时异常值检测则会增加解码开销。为此，我们提出 TileQuant，这是一个无需训练的框架，可为与硬件对齐的二维权重分块分配精度。离线校准提供两种评分方式：基于前向传播统计信息的输入激活感知评分，以降低校准成本；以及基于损失敏感性的梯度引导评分，以更好地保持模型质量。在每个投影的保留预算内，得分最高的分块保留为 16 位，其余分块使用 8 位。由此生成的精度分配图指导权重重构，将其存入紧凑的权重缓冲区；计算内核复用这些缓冲区执行原生整数和 16 位计算，并通过局部累加减少内存数据传输。实验表明，TileQuant 的生成吞吐量达到原始模型的 2.66 倍。在语言建模、推理、长上下文检索和问答任务中，它保持了模型质量，并在多项任务上超越了量化模型和原始模型。这些结果表明，应选择既能捕捉局部敏感性、又能支持高效硬件执行的精度单元。实现代码见：https://github.com/HanzhiZhang-Ulrica/TileQuant