从推理引擎到推理控制平面：连接 vLLM、llm-d 与高效分布式 LLM 服务的演进

大型语言模型（LLM）推理正从引擎本地的优化问题演变为分布式控制问题，涉及可复用状态、阶段放置、异构加速器、网络通信、自动扩缩容、可靠性和服务级别目标。本文结合经同行评审的系统研究、开源实现以及有文档记录的生产环境研究，梳理这一转变。本文将 vLLM 和 llm-d 视为互补层：模型服务引擎通过 PagedAttention、连续批处理、内核、量化和并行化等机制优化执行，而推理控制平面则可以在整个集群范围内优化执行发生的位置、时机以及所遵循的策略。本文的贡献在于综合分析，而非提出新的基准测试；文中报告的所有性能和部署结果均归属于其原始来源。综合证据表明，现代推理中的稀缺资源正从单纯的原始 FLOPs 转向受管理的状态、放置、网络传输、可靠性和决策质量。我们提出一种推理执行规划器，用于选择可行的执行方案，而不只是选择端点；这些方案包括聚合式与分离式拓扑、KV 来源及传输操作、硬件变体、路由/准入策略，以及较慢时间尺度上的扩缩容决策。我们还提供按来源归属整理的基准测试图谱、瓶颈迁移分类法、实用部署指南、基于 SLO-goodput 的评估框架，以及面向智能体、多模态、异构和高韧性推理的研究问题。