Hugging Face Blog精选70

借助 🤗 Optimum Intel 在 Xeon 上加速 StarCoder：Q8/Q4 与推测解码

Name: AI HOT 精选数据集（復刻站）
License: https://aihot.yuenlau.org/llms.txt

Accelerate StarCoder with 🤗 Optimum Intel on Xeon: Q8/Q4 and Speculative Decoding

2024/01/30 08:00· 988天前

精选理由

介绍在英特尔至强上用量化与投机解码加速 StarCoder，助力低成本部署。