arXiv cs.LG精选81

为什么给神经网络植入后门如此容易?

Why Backdooring Neural Networks is so Easy?

· 9天前

精选理由

揭示特征学习如何降低后门攻击门槛,为模型安全评估与防御设计提供理论依据。

AI 摘要

arXiv:2609.36117v2 公告类型:替换 摘要:保护现代 AI 系统免受后门攻击仍是一项开放性挑战,需要从根本上建立有原则的对手预算估计——即构造既成功又隐蔽的攻击所需的投毒比例 $\pi$ 和触发器强度 $\alpha$。受近期实证证据启发:即使干净数据集不断扩大,对大型语言模型进行投毒所需的恶意样本数量也可能近乎保持不变;我们对在受污染高斯混合分布上训练的二次神经元进行了精确的闭式分析。我们发现,或许有悖直觉的是,使神经网络强大的特征学习动力学,也可能使其更容易受到后门攻击。具体而言,在干净准确率保持一阶不变(即变化为 $O(\pi)$)的情况下,我们证明,惰性学习会导致成功攻击所需的触发器强度遵循逆平方根缩放关系 $\alpha \propto \pi^{-1/2}$;而特征学习则会诱导出一个二次检测器,其损失间隔按 $O(\alpha^4)$ 缩放,从而将攻击预算改善为 $\alpha \propto \pi^{-1/4}$。因此,在较小的投毒比例下,非线性特征学习会显著降低所需的触发器强度;从某种意义上说,这使特征学习器更容易受到后门攻击。这些结果提供了一种与大规模实证观察相一致的理论机制,并表明,在广泛采用的特征学习机制下,基于线性启发式方法的安全审计可能会系统性低估后门脆弱性。

查看原文(arXiv cs.LG)