通过掩码微调提升大语言模型性能

arXiv:2503.22764v3 公告类型：replace-cross 摘要：大语言模型（LLM）通常被纳入主流优化流程。然而，维持模型完整性是否是取得良好性能的必要条件，仍未得到充分探索。在本研究中，我们提出了 Mask Fine-Tuning（MFT），这是一种新颖的 LLM 微调范式，表明精心破坏模型的结构完整性，竟然可以在不更新模型权重的情况下提升性能。MFT 以标准 LLM 微调目标作为监督信号，学习二值掩码并将其应用于经过充分优化的模型。以经过全量微调的模型为基础，MFT 使用相同的微调数据集，在不同领域和骨干模型上均实现了稳定的性能提升（例如，使用 LLaMA2-7B/3.1-8B 时，在 IFEval 上的平均提升分别为 2.70/4.15）。详尽的消融研究和分析从稀疏率、损失曲面等不同角度考察了所提出的 MFT。此外，当应用于训练充分的模型时，MFT 可与其他 LLM 优化流程兼容，以提升模型的整体性能。进一步而言，本研究将掩码操作的用途从传统的用于模型压缩的网络剪枝，拓展至更广泛的模型能力提升。