BaCP：用于在极端稀疏神经网络中保留表征的骨干网络对比剪枝
BaCP: Backbone Contrastive Pruning for Preserving Representations in Extremely Sparse Neural Networks
精选理由
BaCP通过对齐多种模型的表示空间，显著缓解极端稀疏剪枝的精度崩塌。
AI 摘要
arXiv:2610.02524v1 公告类型：新提交 摘要：极端稀疏条件下的非结构化剪枝往往会遭遇表征坍塌，导致准确率急剧下降。为解决这一问题，我们研究了骨干网络对比剪枝（BaCP），通过将稀疏网络的嵌入空间与预训练模型、微调模型及历史快照模型的嵌入空间对齐，对其进行正则化。在 CAP 框架（Xu 等，2022）的对比分解基础上，我们在相同预算下，针对多种剪枝准则对该方法进行了严谨评估。在 90 种设置下的评估表明，在标准剪枝失效的极端稀疏条件下，BaCP 能显著提高准确率；而在表征保持完整的情况下，其表现则接近基线。