SSR：Sparse Segment Reduction：三值 GEMM 加速

arXiv:2610.08403v1 发布类型：new 摘要：大型语言模型（LLM）需要大量计算资源，这限制了其在资源受限硬件上的部署。三值 LLM 通过采用三值权重进行量化来降低这些需求，在稀疏度通常为 50%–90% 的情况下实现显著压缩。然而，现有方法存在局限：BitNet、冗余分段归约（RSR）及其改进版本 RSR++ 等针对三值权重优化的方法没有利用稀疏结构，而传统稀疏格式则忽略了三值特性，因而错失了双重优化机会。本文提出 Sparse Segment Reduction（SSR），一种旨在加速三值 LLM 和通用三值权重网络（TWNs）推理的三值矩阵乘法方法。SSR 采用专门优化的三值数据格式，并通过随稀疏度扩展的计算树系统性地利用稀疏模式。理论分析表明，当稀疏度高于 50% 时，SSR 的推理渐近速度快于 RSR++；实际评估则显示，其在所有稀疏度水平下均能提升性能。评估结果表明，在稀疏度为 45%–95% 的三值 GEMM 上，SSR 相比 RSR++ 可实现 2.1–11.3 倍加速。此外，在 Llama-3 1B 模型推理中，SSR 相比 RSR++ 可实现端到端 3.5–6.3 倍加速，并节省 4.9% 的内存。