基于切片 Chebyshev 矩的差分隐私合成数据
Differentially Private Synthetic Data from Sliced Chebyshev Moments
精选理由
提出维度无关的差分隐私合成数据方法,在保障全局分布相似度的同时实现领先实用性能。
AI 摘要
arXiv:2610.42081v1 公告类型:新论文 摘要:关于实用差分隐私(DP)合成数据的研究,主要聚焦于近似保留目标分布低维边缘分布的方法,因此只能寄希望于这些方法碰巧也能保留更高维的全局结构。与此同时,现有旨在提供全局精度保证的方法,需要付出随数据维度 $d$ 呈指数增长的代价。在本研究中,我们提出一种新的 DP 合成数据算法 SPLICE,以应对这一“维度灾难”。该算法即使在高维情况下也具有有力的全局分布保证,而且在实践中达到了当前最先进水平。我们的算法通过测量目标分布的带噪切片 Chebyshev 多项式矩,并拟合一个与这些矩相匹配的分布来实现,是对近期一维合成数据多项式方法的一种改进。我们证明,在隐私参数为常数时,给定包含 $n$ 个样本的数据集,SPLICE 返回的隐私保护分布与目标分布之间的切片 Wasserstein-1 距离为 $\tilde{O}(1/\sqrt{n})$。值得注意的是,该界与数据维度 $d$ 无关。在此过程中,我们还证明了一个本身具有研究价值的矩匹配结果:对于单位球上的分布,沿 $\tilde{O}(d/\alpha^2)$ 个随机方向匹配前 $O(1/\alpha)$ 个 Chebyshev 矩,即可保证切片 Wasserstein 误差不超过 $\alpha$。最后,我们给出了该算法的实用实现,借鉴了张量分解文献中的工具,并在一项广泛的基准评测中,相较于以往的 DP 合成数据方法取得了当前最先进的性能。