通过对抗蒸馏提升可认证鲁棒性

arXiv:2606.31653v2 公告类型：替换 摘要：可认证训练旨在生成其预测能够被形式化验证为可抵御对抗扰动的模型，通常通过优化允许扰动集合上最坏情况损失的上界来实现。对于神经网络，完全基于紧松弛界的可认证训练方法能够生成易于认证的网络，但会牺牲标准准确率。相反，对抗训练往往能带来更强的经验鲁棒性和更高的标准准确率，但所得模型通常难以用神经网络验证器进行认证。近期文献表明，将对抗训练目标与基于区间界传播（IBP）的宽松过近似相结合，可以在标准准确率与可认证准确率之间取得更好的权衡，其实质是在最坏情况损失的下界与上界之间进行插值。在此基础上，我们提出 AD-CERT，这是一种将对抗蒸馏与 IBP 上界相结合的可认证训练目标。我们表明，在 logit 空间中从具有经验鲁棒性的教师模型蒸馏对抗信息，可以为可认证训练提供有效的下界替代目标；AD-CERT 在多个面向 ReLU 网络的鲁棒性基准上取得了最先进的可认证性能。此外，在统一的实验设置下，研究表明，与鲁棒特征空间蒸馏目标相比，在 logit 层面蒸馏对抗信息可将可认证准确率提高最多 5.40 个百分点。我们的代码已发布于 https://github.com/matteo-melis/ad-cert。