IrekoGPT：将结构化剪枝转化为事后可变宽度大语言模型
IrekoGPT: Turning Structured Pruning into Post-Hoc Slimmable LLMs
精选理由
无需重训即可让大模型按需调节宽度，兼顾压缩效率与推理灵活性。
AI 摘要
arXiv:2610.00426v1 公告类型：新 摘要：我们提出了 IrekoGPT，这是一种事后方法，可将预训练大语言模型转换为可变宽度模型，使其宽度能够在推理时进行调整。在 SliceGPT 的基础上，我们保留其投影矩阵而不对其进行剪枝，使单个模型能够以不同宽度呈现嵌套子网络。我们通过在多个压缩比下对每一层进行校准来提升鲁棒性，并通过无梯度岭回归校正下游线性层。在 Llama 和 Qwen 模型上的初步结果表明，相较于基于朴素 PCA 的瘦身方法，我们的方法取得了更好的效果，并且在高压缩率下的提升最大。代码可在 https://github.com/aimagelab/IrekoGPT 获取