你的 Transformer 其实具有弹性

扩大 Transformer 的规模催生了具备广泛能力的模型，并使其部署于异构硬件和负载不断波动的环境中。然而，模型系列通常只提供少数几种固定规模（例如 S、B、L），迫使用户根据硬件和延迟约束选定某一模型。在查询负载变化时，这种僵化的选择往往并非最优。我们提出一种无需重新训练的方法，将预训练 Transformer 转化为单一的弹性模型，使其能够在连续变化的计算预算范围内即时自适应。我们的核心贡献是对功能单元排序问题进行可微松弛：以往工作为每个 MLP 块或注意力头优化单个重要性权重，而我们通过同时最小化模型在多个目标稀疏度下进行软剪枝时的损失，在统一尺度上对每一个 MLP 神经元和注意力头进行联合排序。在涵盖视觉和文本任务、参数量从 2200 万到 80 亿的 27 个 Transformer 编码器上，我们的方法在稀疏度高达 60% 时仍能保持性能平缓下降，并在深度剪枝条件下优于一次性剪枝基线。例如，将 DINOv3 ViT-H+/16 剪枝至 50% 稀疏度可移除 4.27 亿个参数，而 ImageNet-1k 上的线性探测准确率仅下降 0.8%，且无需权重校正或重新训练。在 60% 稀疏度下，剪枝后的 AugReg ViT-B/16 模型在 A100 GPU 上的吞吐量最高可达原来的 $1.80\times$，单次查询延迟最低可降至原来的 $1/1.26$。弹性模型可在几分钟内构建完成，且构建时间随参数量的增长呈次线性变化。