空间重于统计量,重训练重于排序:仅标签后门下的训练标签审计
Space Over Statistic, Retraining Over Ranking: Auditing Training Labels Under Label-Only Backdoors
精选理由
提出用未见过标签的特征空间审计投毒标签,并以重新训练后的攻击效果而非检测分数衡量防御。
AI 摘要
arXiv:2610.13051v1 公告类型:交叉发布 摘要:有些后门攻击从不改动图像。FLIP 只修改标签:在 CIFAR-10 上,翻转 3% 的标签,就能让 ResNet-32 将 99.7% 带有触发器的源类别图像归入攻击者指定的类别。常见防御方法会在使用这些相同标签训练的模型内部寻找投毒痕迹。因此,当这些方法效果不佳时,问题究竟出在所用的检验方法,还是执行检验的空间?我们通过受控替换来回答这个问题:保持检验方法、标签和指标不变,仅改变特征空间,并用各防御方法保留的数据重新训练受害模型,以此评估其防御效果。起决定作用的是空间。在狗$\to$猫的攻击中,同一种最近邻检验在投毒模型特征上的 AUROC 为 0.546,在从未接触过标签的冻结 DINOv2 特征上为 0.967,在使用干净标签训练的同一网络上则为 0.995;最后一种情况是理想参照对照,而非防御方法。我们复现了 FLIP 作者推荐的防御方法 SPECTRE,得到 90.94 / 0.97,与其公布的 91.47 / 1.7 相比接近,随后评估其代价:在卡车$\to$鹿的攻击中,它会删除每个类别 20% 的数据,而基于冻结特征的原型审计仅删除 6%,就能获得更高的干净样本准确率和更低的攻击成功率。在三个更难的类别对上,该审计仍留下约四分之一的攻击效果。在实施任何攻击之前,根据编码器几何结构和干净标签得出的一个计数,能够区分审计可消除攻击的类别对与只能部分消除攻击的类别对,不过这一观察仅涉及一个计数为零的类别对。三项结果提醒我们,不应轻率地下结论。更好的检测分数并不意味着更安全的模型:在四个类别对中的两个上,Confident Learning 的 AUROC 更高,但在狗$\to$猫的攻击中,其残留攻击成功率却是原型审计的 2.6 倍。原型方法族在我们的静态评估中表现最佳,却是自适应攻击者最先绕过的方法。而且,超过某个临界点后,检测出更多投毒样本也不再能降低攻击成功率。应在从未学习过这些标签的空间中检查标签,并根据重新训练后的模型,而非检测分数,来评判防御方法。