AutoCompress：自动化硬件引导模型压缩

arXiv:2611.08290v1 公告类型：新论文 摘要：LLM 剪枝必须在保持质量的同时，满足特定硬件和工作负载对延迟、吞吐量和内存的约束。现有剪枝流程通常以参数量为目标，要求从业者手动选择满足延迟、吞吐量和 GPU 显存限制的模型规模。然而，仅凭参数量无法预测这些指标，因为它们取决于模型架构、工作负载、硬件和推理服务引擎。我们提出 AutoCompress，这是一种硬件引导的压缩框架，可将上述约束直接纳入可微分架构搜索。AutoCompress 联合优化全局结构和逐层结构，以生成异构架构，并以推理服务引擎成本模型为指导；这些成本模型通过端到端延迟、吞吐量和内存测量进行了验证。我们在长上下文本地编程、数据中心批量推理服务以及延迟敏感的游戏内交互场景中评估了 AutoCompress。与最先进的 Minitron 剪枝框架相比，AutoCompress 在 RTX 5070、RTX 5080 和 H100 上的八项基准测试中，分别将平均准确率提高了 6.57、2.35 和 0.57 个百分点。AutoCompress 还将 Nemotron 3.5 Super 的参数量从 1200 亿压缩至 740 亿，使其能够在单张 B200 上以 BF16 精度提供 128K 上下文推理服务，同时保留其平均基准测试得分的 95%。