用于 Intel AI PC 机群上分布式 LLM 推理的预编译流水线分片

现代 Intel AI PC 配备了性能出色的集成 GPU 和 NPU，拥有 16 GB 以上的统一内存，并且有相当多时间处于空闲状态。但这些内存仍不足以容纳像 700 亿参数 LLM 这样的大模型。我们表明，少量 AIPC 通过普通网络协同工作，就能提供超出任何单台设备能力范围的模型服务。我们采用流水线并行：将模型按层拆分为每个阶段的分片，每个分片都预编译成 OpenVINO 图，使每台机器运行一个分片，并将激活传递给下一台机器。三项技术使其速度足够快，从而具备实用性。首先，我们恢复了未拆分模型的速度：朴素的逐阶段导出性能远低于整体推理，因为它错过了一项 OpenVINO GPU 优化；而向每个分片中注入 beam_idx Gather 会触发该优化（IndirectKVCache 融合），使分片达到与整体模型相当的性能。其次，我们在有状态 OpenVINO 模型上利用推测解码。第三，流水线通过在各阶段交错处理多个用户的请求来同时服务多个用户，每个请求都携带自己的缓存（微批处理）。综合来看，一个双节点 Llama 3.1 8B INT4 流水线在相同硬件上为两个并发用户提供服务时，吞吐量达到未拆分模型单用户吞吐量的 1.79 倍；在模拟广域网延迟下，这一差距进一步扩大。同样的设计可扩展到单个机群成员无法容纳的 70B 模型：在 Intel Tiber Cloud 上由 Lunar Lake AI PC 组成的四节点部署能够以交互式速度服务单个用户，其输出与不使用推测解码的同一四节点流水线逐 token 解码结果完全一致。代码、原始基准测试日志和复现实验脚本以自包含软件包形式发布于 https://github.com/labscommunity/pipeline-sharded-inference-paper（位于顶层 reproduction/ 目录中）。