关于成员推断漏洞评估的可靠性

arXiv:2605.25819v2 公告类型：替换 摘要：成员推断攻击（MIAs）是通过模型或从数据中学习到的统计信息，实证评估训练数据中敏感信息泄露情况的常用方法。MI 漏洞通常通过一个二元分类器进行评估，该分类器尝试预测某个特定样本是否出现在训练数据中。为了评估 MIA 的有效性，通常使用更大数据集的随机划分来训练多个影子模型。影子模型训练完成后，即可评估所有具有相应影子模型的样本的 MI 漏洞。为了可靠地评估 MI 漏洞，需要大量影子模型，这在计算上可能难以实现。因此，实践中通常不报告实际的样本级漏洞，而是报告多个样本上的聚合结果。我们展示了典型 MIA 评估流程中的两个关键缺陷。首先，我们表明，从一个固定的超集中抽取影子数据集会导致有限样本偏差，从而夸大漏洞估计值。其次，我们表明，在极低误报率（FPR）范围内常用的通过拼接多个个体的 MIA 分数来评估真正率（TPR）的方法，无法在各样本的 FPR 之间实现校准。针对这两个缺陷，我们提出了修正方法；其最简单的近似形式不会产生任何额外的计算成本。我们还表明，通过增加计算量，可以进一步提高漏洞估计的可靠性。