停止为 Amazon SageMaker AI 上的 TTS 猜测自动扩缩容目标
Stop guessing auto scaling targets for TTS on Amazon SageMaker AI
精选理由
用实测指标制定TTS扩缩容策略，兼顾GPU成本与延迟目标。
AI 摘要
在 Amazon SageMaker AI 上部署自定义文本转语音模型的团队经常凭猜测设定自动扩缩容阈值，而错误的猜测要么浪费 GPU 费用，要么违反延迟 SLO。本文将 Kokoro-82M 部署为自定义容器，并基于两项实时端点测量值 Q_max 和 T_total 推导出一套经过测量的自动扩缩容策略，而不是凭猜测。