AutoCompress：硬件引导的自动化模型压缩

大语言模型剪枝必须在保持质量的同时，满足特定硬件和工作负载对延迟、吞吐量和内存的约束。现有剪枝流程通常以参数量为目标，需要从业者手动选择符合延迟、吞吐量和 GPU 内存限制的模型规模。然而，仅凭参数量无法预测这些指标，因为它们取决于模型架构、工作负载、硬件和推理服务引擎。我们提出 AutoCompress，这是一个硬件引导的压缩框架，可将此类约束直接纳入可微分架构搜索。AutoCompress 通过推理服务引擎成本模型的引导，联合优化全局结构和逐层结构，生成异构架构；这些成本模型经过端到端延迟、吞吐量和内存实测数据的验证。我们在长上下文本地编程、数据中心批量推理服务以及延迟敏感的游戏内交互场景中评估了 AutoCompress。与最先进的 Minitron 剪枝框架相比，AutoCompress 在 RTX 5070、RTX 5080 和 H100 上，分别将八项基准测试的平均准确率提高了 6.57、2.35 和 0.57 个百分点。AutoCompress 还将 Nemotron 3.5 Super 的参数量从 1200 亿压缩至 740 亿，使其能够在单张 B200 上以 BF16 精度提供 128K 上下文的推理服务，同时保留其基准测试平均得分的 95%。