利用梯度预测实现快速对抗攻击
Fast Adversarial Attacks with Gradient Prediction
精选理由
用前向隐藏状态预测梯度,免去反向传播,大幅提速对抗样本生成与鲁棒性评估。
AI 摘要
arXiv:2605.14868v2 公告类型:替换 摘要:大规模生成对抗样本是鲁棒性评估、对抗训练和红队测试的核心基础操作,但即使是 FGSM 这类“快速”攻击,也仍然受限于一次反向传播的成本。我们提出了一系列攻击方法,通过轻量级线性回归,利用前向传播的隐藏状态预测输入梯度,从而消除反向传播过程。从理论上看,我们推导出了精确的仿射条件梯度均值,证明了该方法在(理想化的)NTK 机制下的最优性。在实验中,我们的方法应用于实际的有限宽度模型时依然有效;在仅耗费极少时间的情况下,我们保留了 FGSM 大部分的攻击性能,使吞吐量提升了 $532\%$。这些结果表明,在现实的运行时间约束下,梯度预测是显著加速对抗样本生成的一种简单且通用的方法。