为 LLM 非结构化训练后剪枝构建嵌套 LADDER

arXiv:2610.28773v1 公告类型：新 摘要：非均匀分配可以改进大型语言模型的训练后剪枝，但在高稀疏率下，模型质量仍可能急剧下降。为控制稀疏率提升时的性能退化，我们提出 LADDER（Layer-Wise Allocation via Damage-Driven Evaluation and Refinement），通过增量方式分配稀疏率。在每一步中，LADDER 会评估从每个符合条件的层中额外移除一定比例权重所产生的剪枝效果，并提交每移除一个参数所导致端到端性能退化最小的层更新。该过程会生成非均匀稀疏率配置，并在多个预算之间形成严格嵌套的掩码。我们在五个 OPT、Llama 和 Qwen 模型上评估了 10% 至 90% 稀疏率范围内的 LADDER，使用 SparseGPT 作为候选生成后端，并与均匀分配和自适应分配基线进行比较。结果揭示了明显的工作区间权衡：在温和稀疏率下，LADDER 的表现相当或略弱，但从 70% 稀疏率开始，其鲁棒性显著增强。在五个模型中的四个模型上，这种高稀疏率优势在后验蒸馏后大体仍然保持，并转化为对整体零样本准确率更好的保留能力。