替代值置换保持 PHI 可检测性:一项多检测器等效性研究
Surrogate Substitution Preserves PHI Detectability: A Multi-Detector Equivalence Study
精选理由
研究发现真实替换个人信息后,多数检测器仍能识别,帮助评估去标识化文本的隐私防护与下游安全风险。
AI 摘要
arXiv:2608.03172v5 公告类型:replace-cross 摘要:保留结构的去标识化会将每个检测到的标识符替换为逼真的同类型替代值(“Anna S.” -> “Maria S.”),而不是 [NAME] 之类的标签。如果下游 PHI 检测器不再识别这些替代值,那么“隐于明处”的保护机制和第二轮安全防线就会减弱。我们提出的问题是:对于去标识化工具实际替换的文本片段,检测器发现替代值的频率是否与发现原始值的频率相同?我们将此称为可检测性保持,并将其视为效用的代理指标,而非完整衡量标准。我们的配对评估方案包括:(i)仅在已替换片段上评估可检测性,将其与覆盖率分开;(ii)在原始文本和转换后的文本上运行同一组异构检测器;(iii)使用文档级聚类自助法等效性检验和后验概率,而非显著性检验,来界定配对变化的范围。我们在涵盖 7 种语言的 7 个临床及通用 PII 基准上评估了一种商业转换工具(1,750 篇文档、5,333 个已替换片段、11 个检测器),发现被掩蔽片段的召回率从 75.8% 变为 74.6%(变化的 90% 置信区间为 [-1.62, -0.82] 个百分点;变化处于 ±2 个百分点以内的后验概率 > 0.99)。在信息密集的西班牙语和荷兰语文本上,变化达到 2–3 个百分点,而且已替换片段比未替换片段更容易被检测到(高出 16.6 个百分点),因此该结果仅描述已替换片段这一总体。覆盖率是一个独立且表现较弱的维度(在 MEDDOCAN 上覆盖了 48% 的金标准 PHI)。在金融、法律和企业文本上(750 篇文档、10 个检测器),合并结果得到了复现(72.4% -> 72.8%),但基于规则和经过微调的检测器在金融文本上的表现下降了 2–4 个百分点,且该转换工具修改了大量非 PII 文本。删隐和 Faker 基线提供了参考。我们公开了逐片段预测结果和分析代码。