面向大语言模型的可训练向量量化

arXiv:2610.41822v1 公告类型：新增 摘要：向量量化（VQ）是一项快速发展的技术，用于压缩大语言模型（LLM）的权重、减少内存占用并加速推理。然而，极端压缩会导致模型性能下降，而 VQ 参数的离散性质使得性能恢复颇具挑战。现有方法采用免训练方案，仅限于最小化逐层重构损失。为解决这一局限，我们提出 TVQ，这是一种利用直通估计，使向量量化后的 LLM 能够基于梯度下降进行优化的新方法。通过引入可训练的潜在权重来重新表述 VQ LLM 的优化问题，TVQ 能够实现任意目标函数的最小化。我们将 TVQ 应用于逐块知识蒸馏范式，以兼顾质量与训练效率，并提出多种加速训练的实用方案。在现代 LLM 上的实验表明，TVQ 与现代 VQ 方案兼容。因此，凭借适中的训练预算和简洁的 PyTorch 实现，TVQ 在低比特训练后量化设置下达到了当前最先进的质量。例如，TVQ 对 LLaMA2-70B 实现了近乎无损的 2 比特量化，在常用问答基准测试上的准确率仅下降 1%。