从像素到隐私敏感特征：一个用于重构界限的信息论框架

arXiv:2610.13768v1 公告类型：cross 摘要：使用 DP-SGD 训练的模型会泄露哪些信息，使攻击者能够从中恢复数据？其 $(\varepsilon,\delta)$ 保证无法直接回答这一问题。我们推导出一个可在训练前计算的失真界限，即使攻击者能够观察训练期间的参数轨迹、知晓其他所有训练记录以及生成这些训练记录的总体分布，该界限仍然适用。分析者可以选择衡量误差所使用的表示形式，从而使该界限能够针对特定应用中对隐私敏感的重构方面。我们的信息论框架将两个贡献因素分离开来：训练所泄露的关于某条记录的信息，通过条件互信息度量；以及数据分布中原本就存在的不确定性，通过源熵度量。率失真理论将二者结合起来，为每一种重构攻击的期望误差给出一个下界。对于 DP-SGD，信息泄露界限仅取决于抽样率和噪声乘数，而源熵则可根据一个样本以有限样本置信度给出下界。正交分块构造使所得界限在高维图像上仍具有信息量。我们在像素空间和 LPIPS 特征空间中实例化了该框架，据我们所知，这是首个直接用 LPIPS 度量重构失真的下界。在一系列图像数据集上，这些界限表明，在启发式推荐的隐私预算范围内及更大范围内，都存在不可避免且非平凡的期望重构误差。实验将这些界限与强大的重构攻击进行比较，并确定了剩余松弛的主要来源。