DySCo：采用深度同步批处理的协同边缘—云端 LLM 推理动态分片

arXiv:2610.08268v1 公告类型：交叉收录 摘要：泛在智能应用正日益广泛地部署在移动设备和物联网（IoT）边缘设备上。因此，大语言模型（LLM）也越来越多地用于支持这些应用。然而，由于资源需求较高，LLM 大多部署在云端。逐层划分的边缘—云端推理使资源受限的边缘设备能够为无法完整承载的 LLM 贡献计算能力。不过，异构切分点带来了两种相互耦合的低效现象。首先，边缘端执行和通信会在云端调用之间产生空闲间隙。其次，到达不同模型深度的请求无法按传统方式进行批处理。我们提出了 DySCo，这是一种协同运行时，可将 KV 缓存保留在本地，并引入 dyForward——一种模型感知的层区间执行器，无需重新加载权重，即可从常驻模型分片中执行可配置的连续层区间。针对多边缘设备服务场景，我们引入了深度同步批处理（DSB），将异构请求推进至最深的切分点，并对其共有的后缀部分进行批处理。在异构设备、两个模型系列以及本地和广域链路上的实验表明，即使排除等待时间，空闲间隙仍会增加后续 GPU 前向调用的延迟；在我们的测量中，每个解码步骤由此增加的云端后缀延迟最高达 25 毫秒。在平均并发数为 8 时，DSB 相较于 FIFO、精确匹配批处理和轮询交错执行，吞吐量分别提高了 275%、48% 和 79%，同时降低了平均单会话延迟。这些结果共同表明，采用不同边缘—云端切分点的请求能够复用云端常驻权重，并共享批处理后缀计算。本研究的实验制品仓库已公开，地址为：https://github.com/Large-scale-Sustainable-Computing-LSC/dysco-artifact