利用权重近似的激活稀疏性加速卸载权重上的 LLM 解码
Activation Sparsity with Weight Approximation for Faster LLM Decoding on Offloaded Weights
精选理由
通过近似并跳过低激活权重，显著加速低显存设备上的大模型推理，兼顾效率与精度
AI 摘要
arXiv:2610.02598v1 发布类型：新 摘要：在内存不足以容纳其权重的消费级 GPU 上部署 LLM，可能导致推理速度极慢，因为解码过程会反复将卸载的权重从系统 RAM 或闪存传输到 GPU，而其带宽远低于本地 GPU 内存访问。激活稀疏性通过跳过与零值或近零值激活相关联的权重来减少这些传输。然而，随着被省略的激活贡献增加，模型质量最终会迅速下降，这表明，与小幅值激活相关联的权重总体上会显著影响模型质量。在本文中，我们在利用激活稀疏性时改进了模型质量与解码性能之间的权衡。我们的核心思想是，将是否读取某个权重的二元选择替换为三种选项：完整保留、使用压缩权重表示进行近似，或完全省略。SpAx 跳过与最接近零的激活相关联的权重，对幅值较小的激活读取近似权重，并对幅值最大的激活读取原始权重。幅值较小的激活会减弱近似权重引入的误差，而压缩权重表示所需传输的字节数更少。当权重卸载到 CPU 内存时，在 WikiText-2 困惑度增幅不超过 10% 的情况下，SpAx 使用 16 位权重可将解码速度平均提升 3.86 倍（最高 5.57 倍），使用 4 位权重可平均提升 2.06 倍（最高 2.74 倍）。当权重卸载到闪存时，加速比分别为平均 3.31 倍（最高 4.81 倍）和 1.54 倍（最高 2.03 倍）。