通过 CoMoE 在消费级 GPU 上普及 MoE 推理

arXiv:2610.09424v1 公告类型：交叉收录 摘要：混合专家（MoE）模型的部署高度依赖专家并行，这会产生密集的 GPU 间通信。因此，最先进的推理系统需要数据中心 GPU 中的高带宽 P2P 互连（例如 NVLink）来处理海量词元路由，导致部署成本高昂。消费级 GPU 以显著更低的成本提供相当的计算能力，有望让个人用户也能使用 MoE 推理，并实现保护隐私的本地部署。然而，其带宽受限（仅有带宽较低的 PCIe 总线）且需经主机中转的互连方式（不支持 P2P）带来了严重的通信瓶颈。我们提出 CoMoE，这是一种通信高效的 MoE 推理系统，通过新颖的以主机为中心的路由机制解决这一不匹配问题。我们的关键洞见是，这种独特的通信拓扑为将主机提升为主动路由枢纽提供了机会，从而能够从根本上减少通信量，并消除全局同步引起的停顿。具体而言，在词元分发阶段，我们引入主机支持的词元组播，将共享词元仅写入主机一次，从而消除出站传输冗余。在词元合并阶段，我们提出一种利用主机暂存缓冲区的细粒度词元级聚合机制，取代僵化的全局同步，并缓解慢执行单元造成的拖尾效应。在 RTX 5090 GPU 上的评估表明，CoMoE 可将推理吞吐量提升至最高 1.46 倍，以仅为 23.4% 的硬件成本，达到接近支持 NVLink 的 A800 GPU 的性能。