资源受限的临床 LLM 服务容量规划

在固定的加速器预算下部署大语言模型（LLM），需要联合决策如何在不同规模的模型之间分配计算容量，以及如何将传入请求路由至这些容量。尽管已有研究广泛探讨了 LLM 路由与服务效率，但在资源约束下，模型集群组成与路由各自的相对重要性仍缺乏充分认识。我们在一个受控的四 GPU 服务环境中研究这一问题，采用异构的临床自然语言处理工作负载，涵盖简短事实核验、生物医学语义匹配和长上下文临床摘要生成。我们在保持工作负载轨迹和硬件预算不变的条件下，系统地调整模型集群组成、路由策略和输入负载。在 24 种配置中，描述性主效应占比表明，对于首个词元生成时间、延迟和长上下文覆盖率，模型集群组成所解释的变异多于所评估的路由策略。全部由小模型构成的集群具有最佳的响应速度和吞吐量，但长上下文覆盖率显著较低；增加大模型容量则能提高覆盖率，但会牺牲服务效率。异构集群提供了介于两者之间的运行折中点，但在大模型容量不足时，可能出现能力较强模型的处理瓶颈。针对这一瓶颈的专项评估表明，容量感知路由能够降低平均延迟并提高吞吐量，同时仅小幅降低长上下文覆盖率。在本研究测量的运行范围内，结果支持优先考虑容量分配，再通过路由在已配置的容量范围内管理需求。