重新思考面向次二次注意力的异构系统解耦

前沿语言模型正更积极地使用次二次注意力，以在推理期间降低内存占用和计算需求，同时仍保持前沿准确率。尽管现有系统会围绕以稠密注意力为中心的解耦式服务做出决策，但我们表明，围绕次二次注意力 LLM 独特的算术强度和内存占用来解耦推理，可以在新兴的基于 DRAM 和纯 SRAM 的异构系统上实现显著的吞吐量和能效提升。 我们提出 SQD (SubQuadratic Disaggregation)，这是一种细粒度异构解耦方案，它按二次注意力和次二次注意力而非按算子类型来拆分解码，并且适用于各种次二次注意力变体。对于稀疏注意力 LLM，我们将解码解耦为 top-k 选择和 top-k 注意力加 FFN，其中 top-k 选择必须索引完整 KV，而 top-k 注意力加 FFN 具有静态内存占用。对于线性注意力和滑动窗口注意力 LLM，我们将解码解耦为稠密注意力层和次二次注意力层加 FFN。在调整后的 8xB200 异构系统代理中，相比最强的纯 GPU 基线，我们观察到 GLM 5.2 上平均 tokens/J 提升 53%，Nemotron 3 Ultra 上提升 31%，Gemma 4 31B 上提升 56%。在一个具有固定功耗预算的 Rubin 加 LPX 系统分析模型中，相比注意力-FFN 解耦的最佳基线，我们观察到可实现延迟收紧 1.2x 到 1.5x，吞吐量最高提高 3.6x。我们的实验还揭示了面向服务次二次注意力的下一代异构系统在芯片和互连配置方面的架构洞见。