解释经对抗训练的神经网络的显著图稀疏性
Explaining the Saliency Map Sparsity of Adversarially-Trained Neural Networks
精选理由
从理论上解释对抗训练为何产生稀疏显著图，助力理解模型可解释性与安全性
AI 摘要
arXiv:2610.10666v1 发布类型：新 摘要：理解深度神经网络为何做出特定预测，对于其安全部署至关重要。在计算机视觉中，显著图通过突出对预测影响最大的图像区域，仍是广泛使用的一种解释形式。一项经验观察是，经对抗训练的神经网络的梯度显著图表现出明显的稀疏性。本文针对两层 ReLU 网络，对这一现象提出了理论解释。我们建立在这样一个已确立的等价关系之上：对于某些损失函数，对抗训练等价于对带权重衰减惩罚并附加对抗总变差项的经验风险进行最小化。随着数据点数量和神经元数量不断增加，并且正则化参数以适当速率趋于零，我们证明，最小化器会收敛到具有最小梯度范数和 Barron 范数的贝叶斯分类器。对于采用 $\ell_\infty$ 攻击的对抗训练，梯度范数具有各向异性，并偏好轴对齐或稀疏梯度，因此会产生稀疏性。我们通过实验评估自然训练模型与对抗训练模型的梯度 $\ell_1$ 范数和阈值化稀疏性，展示了理论结果。