SageMaker Inference 现已支持 Multi-Instance GPU，最大限度提高模型端点的 GPU 利用率
SageMaker Inference now supports Multi-Instance GPU to maximize GPU utilization for model endpoints
精选理由
介绍 SageMaker 如何通过 MIG 将 GPU 切分给多个模型，提升端点资源利用率并降低推理成本。
AI 摘要
Amazon SageMaker Inference 现已支持通过 NVIDIA Multi-Instance GPU (MIG) 对 GPU 进行分区，将单个 GPU 划分为多个硬件隔离的分区，让您能够在每个分区中运行不同的模型，或按需使用新一代加速器中大小适宜的一部分资源。本文展示了如何通过两个可选的 API 字段在每个分区中部署一个模型，并介绍了与使用一整块较旧 GPU 进行对比的实测结果。