为大规模推理和训练工作负载部署 RDMA
Deploying RDMA for Large-Scale Inference and Training Workloads
精选理由
总结 ByteExpress 将 RDMA 落地大规模训练与推理的关键设计，并展示其降低尾延迟、CPU 开销及网络拥塞的生产效果。
AI 摘要
arXiv:2610.12815v1 公告类型：新论文 摘要：RDMA 可以降低分布式机器学习系统中的通信开销，但要在生产环境中实现这些收益，仅仅替换 TCP 还不够。大小可变的消息、并发连接、突发性的多对一流量以及服务故障带来了仅靠硬件卸载无法解决的挑战。本文介绍了我们在 ByteDance 基于参数服务器的推理和训练系统中部署 ByteExpress 的经验。ByteExpress 是构建于硬件 RDMA 之上的软件通信层。我们总结了此次部署的三点经验：高效的 RDMA 需要跨应用层和传输层进行缓冲区管理；可扩展的通信需要协调管理连接、接收容量和尚未完成传输的数据；服务可用性需要传输层之上的恢复机制。ByteExpress 结合了支持 RDMA 的内存分配器、零拷贝传输、QP 多路复用、基于接收信用的流量控制、软件发送窗口以及 RPC 辅助恢复机制。在生产环境的推理任务中，与内核 TCP 相比，ByteExpress 将模型参数拉取的平均延迟和 P99 延迟分别降低了 35.7% 和 43.7%，并将 CPU 总使用量降低了 10.69%。在训练任务中，与 TCP 相比，ByteExpress 将模型参数推送的 P99 延迟最多降低了 74.0%，且运行期间未观察到 PFC 暂停。