Hugging Face Blog精选73

通用辅助生成:使用任意辅助模型实现更快解码

Universal Assisted Generation: Faster Decoding with Any Assistant Model

· 715天前

精选理由

介绍如何用任意助手模型加速生成,降低推理延迟与成本。

查看原文(Hugging Face Blog)