Hugging Face Blog精选64

借助 AWS Inferentia2,让 llama 生成速度飞起来

Make your llama generation time fly with AWS Inferentia2

· 1072天前

精选理由

介绍利用 AWS Inferentia2 加速 Llama 生成、优化性能与部署成本的方法。

查看原文(Hugging Face Blog)