ACSeL：面向硬件受限 LLM 推理的自适应配置搜索

arXiv:2611.07570v1 公告类型：新提交 摘要：在严格的内存与延迟服务级别目标（SLO）约束下提供大语言模型（LLM）服务（包括在边缘设备上部署），需要联合选择模型规模、批大小、量化算法和混合精度量化方案。在这一组合数量庞大的空间中进行穷举搜索并不可行。不同于通常优先考虑吞吐量或生成速度的数据中心服务，资源受限的部署通常将内存和延迟预算设为约束，进而在可行配置中寻找生成质量最高的配置。为此，我们提出 ACSeL，这是一个用于识别预计能够满足部署约束、同时具有较高预测生成质量的配置的框架。为实现高效的质量估计，我们采用相对模型质量退化（RMQD），这是一种代理指标，基于候选模型与参考模型在小型校准语料库上的下一词元分布之间的散度。在所评估的模型规模和精度范围内，RMQD 的评估成本低廉，且与下游基准测试性能高度相关。ACSeL 结合了以下三部分：（i）直接根据配置预测 RMQD 的轻量级质量代理模型；（ii）少样本中位数校准（FMC），利用少量端到端性能剖析结果，对基于算子性能剖析的延迟估计进行校准；（iii）用于探索逐层混合精度配置的结构化搜索算法 BandPareto。在 NVIDIA RTX A6000 工作站和 NVIDIA Jetson Thor 边缘平台上的实验表明，FMC 显著提高了部署可行性，而 BandPareto + FMC 实现了最高的可行性，并且与评估集中实测最佳配置之间的 RMQD 差距最小。