AC/DC：低预算下的交替稀疏阶段

arXiv:2610.27758v1 公告类型：新 摘要：最先进的神经网络稀疏化方法依赖于交替进行的稠密训练阶段和稀疏训练阶段。尽管计算成本高昂，稠密阶段对性能至关重要。我们的实证分析揭示了这一性能增益背后的机制：重新引入时，先前被掩码的参数会接收到异常大的梯度，从而驱动关键的掩码重连和参数符号翻转。基于这些洞见，我们通过三项创新优化性能与 FLOPs 的帕累托前沿：（1）在稠密阶段将被掩码参数初始化为零，以促进相关的符号翻转；（2）缩短稠密阶段；（3）完全以稀疏重连阶段替代稠密阶段，该阶段仅更新活跃掩码以及掩码外权重中梯度较大的一小部分。在 CIFAR100 和 ImageNet 上的评估表明，我们的变体 ARC（交替重连压缩）以极低的计算成本达到基线 AC/DC 的性能，同时相较于标准的稀疏到稀疏算法，也建立了更优的性能与 FLOPs 前沿。在 OpenWebText 上使用 GPT-2 的实验进一步显示，验证集困惑度和平均零样本性能均有所提升。