你的 Transformer 其实具有弹性

arXiv:2610.20588v1 公告类型：新论文 摘要：扩大 Transformer 的规模催生了具备广泛能力的模型，这些模型被部署于异构硬件和负载波动的环境中。然而，模型系列仅提供少数几种固定规模（如 S、B、L），迫使用户根据硬件和延迟约束选定模型。在查询负载变化的情况下，这种僵化的选择往往并非最优。我们提出了一种无需重新训练的方法，将预训练 Transformer 转化为一个能够在连续计算预算范围内即时自适应的弹性模型。我们的核心贡献是对功能单元排序问题进行可微松弛：以往工作为每个 MLP 块或注意力头优化单一的重要性权重，而我们通过同时最小化模型在多个目标稀疏度下进行软剪枝时的损失，在统一尺度上对每个 MLP 神经元和注意力头进行联合排序。在参数量从 2200 万到 80 亿的 27 个视觉和文本 Transformer 编码器上，我们的方法在稀疏度高达 60% 时仍能使性能平缓下降，并在深度剪枝下优于一次性剪枝基线。例如，将 DINOv3 ViT-H+/16 剪枝至 50% 稀疏度可移除 4.27 亿个参数，而 ImageNet-1k 线性探测准确率仅下降 0.8%，且无需权重校正或重新训练。在 60% 稀疏度下，剪枝后的 AugReg ViT-B/16 模型在 A100 GPU 上的吞吐量最高可达原来的 $1.80\times$，单次查询延迟最低可降至原来的 $1/1.26$。弹性模型可在几分钟内构建完成，构建时间随参数量呈次线性增长。