大语言模型的快速推理:Habana Gaudi2 加速器上的 BLOOMZ
Fast Inference on Large Language Models: BLOOMZ on Habana Gaudi2 Accelerator
精选理由
介绍BLOOMZ在Habana Gaudi2上的高效推理实践,为大模型部署优化提供参考。
Fast Inference on Large Language Models: BLOOMZ on Habana Gaudi2 Accelerator
介绍BLOOMZ在Habana Gaudi2上的高效推理实践,为大模型部署优化提供参考。