CHARM+：采用重新合并多流机制的跨硬件注意力

随着序列长度不断增长，基于序列并行的分布式注意力（例如 Ring-Attention）已成为大语言模型（LLM）的主流解决方案。然而，固有的通信依赖关系限制了计算与通信的重叠，降低了 GPU 利用率。此外，在跨硬件（NUMA 或节点）架构中，由于通信带宽不均衡，频繁的通信同步会限制整体性能。基于这些观察，我们提出了 CHARM+，一种采用重新合并多流机制的跨硬件注意力。我们将顺序通信重组为多个层级，实现层级内并行以及与计算的重叠。此外，我们将跨硬件通信与硬件内部通信解耦，消除了带宽不均衡导致的同步开销。我们在多种硬件架构上评估了前向和反向算法，其性能均优于当前最先进的方法。与 Ring-Attention 相比，我们的前向和反向算法在双 NUMA PCIe 架构上分别实现了平均 1.3 倍和 1.7 倍的加速，在双节点 NVLink 架构上分别实现了平均 2.8 倍和 2.9 倍的加速。