LLM 推理服务引擎配置与缓存架构的受控实验评估

arXiv:2611.05991v1 公告类型：交叉发布 摘要：多智能体 LLM 应用在不同请求中重复使用大部分提示词元，而推理服务引擎会复用共享前缀的缓存状态。vLLM 和 SGLang 以不同的粒度进行复用，对其默认部署开展的基准测试显示，两者存在显著的性能差距，这通常被归因于缓存。然而，此类比较很少控制其他配置差异。其中一项配置是是否对长提示进行分块预填充，其默认值由各引擎根据硬件和版本设定，从而对比较造成混杂影响。我们在 Kubernetes 上构建了可复现的测试平台和采用固定随机种子的多智能体工作负载生成器，并在厂商默认配置和分块预填充配置一致这两种条件下比较了这两个引擎。SGLang 在两组实验中的配置相同，因此可作为独立部署之间的内部对照。在默认配置下，vLLM 的首词元时间中位数最高可达 SGLang 的 64 倍。仅统一这一项设置，就消除了最大容量差距的 78%，以及延迟差距的 30% 至 67%。接近饱和时，剩余延迟差距反映了队列的增长。一个仅以 4.4% 的吞吐量差距为驱动因素的流体排队模型即可复现这一现象，并表明该差距随基准测试运行时长成比例增长。配置统一后仍然存在的差异是，在相同吞吐量下，SGLang 具有 2.4 至 6.4 倍的尾延迟优势，这与基于缓存感知的等待请求排序机制相符。我们据此提出了六项比较推理服务引擎的建议。