FastAFD：在机架级 NVLink 上，注意力与 FFN 解耦何时划算？

arXiv:2611.07149v1 公告类型：交叉发布 摘要：注意力与 FFN 解耦（AFD）将注意力计算与混合专家（MoE）模型的专家分离，据报道，与共置推理服务相比，这种方式能够提高解码吞吐量。这一优势能否在 GB200 NVL72 等机架级 NVLink 系统上保持，目前尚不明确：既有结果要么来自其他硬件，要么仅与并行规模较小的共置基线进行比较，要么依赖分析模型；而生产环境中的引擎则采用大规模专家并行（wide EP），在这些系统上部署大型 MoE 模型。我们构建并调优了面向 GB200 NVL72 的 AFD 引擎 FastAFD，使一个微批次的 MoE 计算与另一个微批次的注意力计算重叠，并将其与 vLLM 的最优 wide EP 配置进行比较。实验表明，AFD 在 Qwen3 和 Qwen3.5 上的吞吐量最高分别达到 wide EP 的 1.17 倍和 1.16 倍，在 MiniMax-M2.5 上则与之持平。我们推导了一个分析模型，仅利用共置 vLLM 的性能剖析数据，就能以不超过 3% 的误差预测 AFD 吞吐量，从而在部署之前判断切换到 AFD 是否划算。该模型给出了一个简明结论：AFD 的加速效果可分解为批量收益（由于负责注意力计算的 GPU 不存储专家权重，因此可采用更大的批次）、重叠收益（由于专家 GPU 上的 MoE 计算被注意力计算掩盖，因此每步耗时更短），以及解耦成本（分配给专家的 GPU）。当这两项收益超过成本时，AFD 就具有优势。这一视角解释了哪些模型能从 AFD 中受益，并表明推测解码对轻量专家模型的帮助最大：增加的重叠收益超过了增大的解耦成本，使 AFD 相对于 wide EP 的优势进一步提升了 8%。展望未来，若使用将权重保存在片上 SRAM 中的加速器来运行专家，例如与 Vera Rubin NVL72 配套的 Groq LPX 加速器，就能消除大部分解耦成本，使采用推测解码时的理想加速比提高到 2.48 倍。FastAFD 已开源，地址为 https://github.com/hao-ai-lab/FastAFD。