TernaryLLM：三值化大语言模型

arXiv:2406.07177v2 公告类型：替换 摘要：大语言模型（LLMs）在自然语言处理（NLP）任务中取得了卓越的表现，但高昂的计算成本和内存需求限制了其应用。三值化是一种极端的量化方式，通过减少内存使用并支持高能效的浮点加法运算，为这一问题提供了解决方案。然而，将三值化应用于大语言模型时，权重和激活值中的离群值会带来挑战。在本研究中，我们观察到权重中的离群值呈非对称分布，且权重均值不为零，因此引入了双重可学习三值化（DLT），使缩放因子和平移量均可学习。我们还提出了离群值友好的特征知识蒸馏（OFF），以恢复极低比特量化中丢失的信息。所提出的 OFF 能够融入语义信息，且对离群值不敏感。OFF 的核心是利用余弦相似度，最大化三值化模型与浮点模型特征之间的互信息。大量实验表明，在不同大语言模型系列的标准文本生成和零样本基准测试中，我们的 TernaryLLM 均优于以往的低比特量化方法。具体而言，对于最强大的开源模型之一 LLaMA-3，我们的方法（W1.58A16）相较于此前最先进的方法（W2A16），在 C4 上的困惑度降低了 5.8，在零样本任务上的平均准确率提高了 8.2%。