硬件原生的万亿规模混合专家联合稀疏量化

arXiv:2610.02241v1 公告类型：cross 摘要：混合专家（MoE）架构使前沿语言模型能够扩展至万亿级参数规模，但其部署受到庞大内存占用和内存带宽限制的制约。尽管现代加速器提供了稀疏张量核心（SpTCs），可通过低精度半结构化稀疏性减少权重存储并提升吞吐量，但由于模型质量显著下降以及缺乏分组稀疏 GEMM 原语，将其用于 MoE 仍然面临挑战。我们提出了一种端到端的软硬件协同设计框架，将专家权重压缩为硬件原生的低精度稀疏表示，并在 SpTCs 上加速其执行。在算法层面，我们通过连续重参数化放松离散的半结构化支持集选择，从而在路由器加权重构目标和可扩展专家并行压缩下，实现与量化权重的可微联合优化。在系统层面，我们开发了定制的分组稀疏 GEMM 内核，专为 SpTCs 上的低精度稀疏 MoE 推理而设计。在参数规模从 300 亿到 1 万亿的 MoE 模型上，我们的框架将当前最先进的联合稀疏量化精度最高提升 4.35 个百分点，同时保持原始模型 96.09% 的性能。在 NVIDIA B200 GPU 上，我们的内核相较厂商基线最高实现 1.65 倍的性能，服务吞吐量提升 1.18 倍，端到端延迟最高降低 4.03 倍。这些结果表明，软硬件协同设计是实现可扩展、高效 MoE 部署的一条切实可行的路径。