DADP：动态活动依赖剪枝，一种受反向 Hebbian 启发的结构化剪枝方法

arXiv:2610.11853v1 公告类型：新 摘要：现代神经网络通常存在严重的过度参数化问题。这种冗余会在训练和推理过程中带来大量的计算与内存开销。现有剪枝方法依赖事后幅值阈值或静态初始化启发式方法。因此，它们通常需要为每一层手动设定稀疏度目标，或进行代价高昂的再训练循环。我们提出 Dynamic Activity-Dependent Pruning（DADP），一种受生物学启发的结构可塑性机制。在训练过程中，DADP 通过累积突触前激活值与突触后误差梯度的乘积来衡量连接的重要性。DADP 使用单一的全局阈值，而不是固定的分层稀疏度预算，从而能够在网络深度方向动态分配稀疏度，并自然地实现神经元级和通道级剪枝。在 MLP、VGG-16、ResNet-18、BiLSTM-CRF 和 MiniBERT 架构上，DADP 的性能达到或优于 Magnitude、SNIP 和 RigL；在 ResNet-18 上达到 99% 稀疏度时，仍保留 73.67% 的准确率（稠密基线：76.06%）。最后，基于矩阵的 Shannon 熵和有效秩测量结果证实，在极高稀疏度下，DADP 仍能保持潜在特征的多样性，而不会发生表示坍塌。