学习大模型的结构化稀疏性：连接模型可压缩性与高效推理

arXiv:2610.31897v1 公告类型：新 摘要：扩展定律持续激励人们增大模型规模，而由此产生的计算和内存需求使推理过程更加依赖云基础设施。然而，不可靠的网络连接、通信延迟和隐私要求可能使这种依赖难以实施，从而推动在边缘设备上进行本地执行。本地部署要求模型能够适应有限的内存，并利用可用的计算资源高效运行。近期研究表明，学习稀疏加低秩表示可以将单个检查点弹性压缩到多个内存预算。然而，参数数量减少并不一定会带来更快的推理。非结构化稀疏组件中的索引开销和不规则内存访问可能抵消计算节省。为解决这一关键部署障碍，我们提出了 S-SALAAD，这是一个统一框架，在训练过程中联合学习模型权重及其低秩和结构化稀疏组件。该框架支持一系列与硬件兼容的结构化稀疏模式，并将结构学习与预算感知压缩相结合，同时配备专用的 CPU 和 GPU 内核，利用所学习的结构实现加速，从而支持单个检查点在不同内存预算下进行高效推理。在 Llama2 和 Qwen3 模型上的实验涵盖预训练和蒸馏，结果表明，与所评估的基线方法相比，S-SALAAD 在多种硬件平台上的困惑度、内存占用和推理延迟方面推进了经验帕累托前沿。这些结果表明，结构化学习能够将弹性可压缩性转化为更低的内存需求和更短的推理延迟，从而实现大模型在边缘设备上的实际部署。