Amazon SageMaker AI 上的专家混合模型内核工程
Mixture-of-Experts kernel engineering on Amazon SageMaker AI
精选理由
了解SageMaker AI上的MoE内核优化方法，提升H200吞吐并缩短首Token延迟。
AI 摘要
AWS 工程师分享了在 Amazon SageMaker AI 上针对融合式专家混合（MoE）模型的内核优化方案：通过 Swap-AB 提升 WGMMA 利用率，利用 Triton 后端路由实现 FP8 量化，并消除 Triton JIT 重新编译。综合应用这些优化后，在 H200 GPU 上吞吐量最高提升 10%，首个令牌时间最高缩短 9%。