SAGE：基于相似性的利用经验证示例清理中毒训练数据

arXiv:2610.01788v1 公告类型：新 摘要：随着机器学习日益依赖公开且不受信任的数据源，数据投毒攻击将恶意示例注入训练数据，以诱导模型错误分类所选目标，因而构成日益严重的威胁。现有防御方法要么假设完全没有关于哪些示例遭到投毒的真实标签信息，要么假设可以获得大量已验证为干净的示例。满足后一假设会产生高昂成本，因为可靠的验证可能非常耗费资源或人力。这一成本对于清洁标签攻击尤其高，因为中毒示例在视觉上与干净数据无法区分。鉴于要求提供大量经验证示例并不现实，我们提出依赖一小组同时包含干净示例和中毒示例的经验证示例，即每个示例都经过取证专家检查，确认其为干净或中毒。随后面临的挑战是：根据一组规模极小、以至于大多数分类模型都会发生过拟合的经验证示例，检测出中毒示例。为应对这一挑战，我们提出基于相似性的真实标签驱动排除方法（Similarity-based Approach for Ground-truth-driven Exclusion，SAGE）：先在一个独立数据集上训练通用特征提取器，然后利用基于经验证集合的非参数相似度加权预测，标记出中毒训练示例。在针对七种清洁标签攻击方法的标准基准测试中，我们证明，即使只能获得少量经验证的中毒示例，也能带来显著优势。我们还发现，经验证的干净示例在各类别之间的分布，比经验证示例的数量更为重要。