经验去噪器的隐私核算

arXiv:2610.27710v1 公告类型：new 摘要：扩散模型已成为现代生成系统的基础，但其强大的记忆能力也引发了隐私问题。尽管差分隐私（DP）训练能够提供形式化保证，但需要以样本质量为代价。在本文中，我们研究一个互补问题：采样过程本身会造成多大的隐私损失？直接分析现代神经去噪器颇具挑战，因为其对单个训练样本的敏感度通常难以求解。为克服这一挑战，我们构建并分析了一种经过裁剪、可进行隐私核算的经验去噪器。这是一种无需训练的 Bayes 最优去噪器估计器，其每一步的敏感度都可以显式计算，从而使每个去噪步骤都能够视为一个高斯机制。这一视角使我们能够在每个训练样本都参与每个去噪步骤时，基于高斯 DP 进行隐私核算；而当每个生成样本仅使用从训练数据中随机子采样得到的单个数据块时，则可以基于 $f$-DP 权衡函数进行隐私核算。对于每个 $(\varepsilon, \delta)$ 保证，我们都将其报告为隐私损失分布核算器给出的经认证上界，并使用基于累积量的 Edgeworth 近似作为快速诊断工具，以刻画其可靠的适用范围以及开始产生非保守估计的情形。我们还分析了沿去噪轨迹的隐私损失，并表明隐私损失会在形成语义内容的关键窗口附近急剧增长。这一观察促使我们提出混合采样器：在经验去噪器仍能忠实近似神经去噪器的形成阶段使用私有经验去噪器，随后切换到公共神经去噪器完成剩余的细化过程。在 CIFAR-10 和 CelebA-64 上的实验结果表明，扩散模型的隐私不仅取决于训练过程，还取决于采样时的设计选择，例如子采样、停止时间和混合去噪。