HAND：一种受生物学启发、提升图像分类泛化能力和样本效率的激活函数

arXiv:2610.11534v1 公告类型：cross 摘要：DNNs 表现出人类所没有的鲁棒性和泛化问题。它们的数据效率也远低于人类学习者，需要大量训练样本才能准确地对新的示例进行分类。归纳偏置可以通过提供内置机制来改善泛化能力，从而减少对数据学习的依赖，有助于解决这些问题。我们将一种受生物学启发的归纳偏置融入新的激活函数 HAND（稳态、加速非线性和除法归一化）中，并在使用图像分类数据训练的 CNNs 上展示了其有效性。使用 HAND 时，ConvNeXt-tiny 只需 25 个训练周期，便可在 ImageNet1k 上达到未修改模型训练 200 个周期后的相同准确率。与归纳偏置的作用一致，随着训练时间的增加和数据增强的加强，性能差距逐渐缩小。当训练数据量减少且类别之间分布不均衡时（Long-tailed ImageNet），准确率提升幅度更大，并且不会随着训练时间增加而减弱。在 common-corruptions 数据上的泛化性能，以及拒绝来自未知类别样本的能力，在使用 HAND 后保持不变或得到提升。实验结果在不同 CNN 架构和训练数据集上均具有普适性。因此，HAND 可以减少所需的训练时间和/或训练数据的规模与多样性，有助于提升样本效率。