DeaMoE：用于快速小批量解码的高效 MoE 结构

混合专家（Mixture-of-Experts，MoE）模型已被广泛应用于代码助手、实时音视频交互系统等实时交互式应用。为满足这些场景对极低响应延迟的要求，实践者通常采用小批量解码；在这种情况下，MoE 推理会受内存限制，并严重受限于专家权重加载。然而，这一瓶颈受到的关注有限，现有解决方案，如训练后权重压缩或预训练期间的细粒度专家设计，要么会降低模型准确率，要么会引入额外的计算和通信开销。为解决这一问题，我们提出 DeaMoE，一种解码高效的 MoE 架构。在该架构中，专家被分组到若干部门，同一部门的专家由于来自同一专业领域而共享大部分参数，同时每个专家还包含少量私有参数以体现其独特性。此外，我们为 DeaMoE 设计了定制的两阶段路由策略，以避免冗余加载；在该策略下，DeaMoE 显著提升了 LLM 解码过程中的效率。与原始 MoE 相比，DeaMoE 将每步加载的权重最多减少 50.9%，并在 A40 上针对预训练的 7B 模型实现了最高 1.33 倍的端到端 TPOT 加速；在微基准测试中，针对 DeepSeek-V3，在 A40 和 H100 上分别实现了最高 2.00 倍和 1.97 倍的峰值加速。