基于推送的 KV 传输提升 vLLM 中非聚合式推理的 TTFT 和 TPOT
Push-based KV transfer to improve TTFT and TPOT for disaggregated inference in vLLM
精选理由
了解vLLM推送式KV传输，显著降低TTFT并提升TPOT。
AI 摘要
vLLM 的 prefill-decode 非聚合式架构将大语言模型推理拆分到多个引擎实例中，但必须在实例之间传输 KV cache。本文介绍了一种基于推送的 NIXL 连接器，将传输协调移出关键路径；在配备 AWS EFA 的 Amazon EC2 P5en 实例上进行的基准测试中，TTFT 最多提升 3 倍，TPOT 提升 30%。