Maia 200：一种用于大规模 AI 加速的软件定义数据流系统

我们介绍 Maia 200，这是一款先进的 AI 加速器，在 750W TDP 和 7 TB/s HBM 带宽下可提供 145 Tflop/s FP4 和 5072 Tflop/s FP8 的高性能。Maia 体现了一类新的软件定义本地访问数据流架构（SDLA），它显式地对数据流引擎进行编程，以协调高度专用的存储器和数据移动引擎。这种方法将重心从当今以线程为中心的架构转向以数据移动为中心的架构，提高了效率和可扩展性。我们受 Flynn 分类法启发提出的数据管理分类，突出了 SDLA 如何应对现代 AI 计算中的挑战。Maia 200 在支持 AI 推理工作负载的大规模并行性的同时，实现了显著的成本和能耗节省，使其成为下一代高性能计算系统中极具吸引力的解决方案。