Hugging Face Blog精选68

通过动态推测实现更快的辅助生成

Faster Assisted Generation with Dynamic Speculation

· 736天前

精选理由

介绍动态调整推测策略,加速大模型文本生成并降低推理延迟。

查看原文(Hugging Face Blog)