通过 L0 正则化的专家混合加速稠密 LLM
Accelerating Dense LLMs via L0-regularized Mixture-of-Experts
精选理由
提出L0正则化MoE加速稠密大模型，最高提速2.5倍且几乎不损失性能。
AI 摘要
大型语言模型（LLM）具有出色的性能，但推理速度缓慢且成本高昂。现有的加速方法通常会导致明显的性能下降，而专家混合（MoE）模型则需要大量计算资源。本文提出 L0-MoE，一种采用 L0 正则化的轻量级 MoE 方法，能够在几乎不损失性能的情况下加速稠密 LLM。我们的方法引入了聚类混淆矩阵，用于面向领域的数据集整理，并采用动态批处理以实现高效训练。实验表明，L0-MoE 在保持竞争力性能的同时，相较于稠密模型最高可实现 2.5 倍加速，性能优于现有的 LLM 加速基线。