针对成员推断的 Random-Allocation DP-SGD 闭式噪声校准

arXiv:2610.09651v1 发布类型：新 摘要：DP-SGD 通过向裁剪后的梯度添加高斯噪声来保护训练数据。噪声量通常通过在搜索过程中运行数值隐私核算器来确定。我们研究采用随机分配的 DP-SGD，其中每个训练轮次都会使用每条记录一次，并将其分配到随机选择的步骤中。针对这一设置，我们给出一个单行公式，用于界定针对训练模型的任何成员推断攻击（MIA）的准确率。设每个训练轮次包含 $M$ 个步骤，共训练 $E$ 个轮次，噪声乘数为 $\sigma$，并且先验上成员与非成员的可能性相等，则攻击准确率至多为 $\frac12+\frac14\sqrt{(1+(e^{1/\sigma^2}-1)/M)^E-1}$。该公式源于高斯分布与一个支配随机分配过程的高斯混合分布之间的卡方散度。该公式具有可解释性，并且大约只需一微秒即可求得 $\sigma$。在适用情况下，与当前最先进的闭式界相比，我们的公式所需噪声最多可减少约一半。为了衡量该界的紧确程度，我们还推导了这两个分布的攻击准确率的精确表达式，并对其进行数值评估。在我们的主要实验中，根据这一精确表达式进行校准所需的噪声比使用该公式少 $13.0\%$ 至 $20.2\%$；由于该表达式是精确的，因此任何只了解 $M$、$E$ 和 $\sigma$ 的核算器都无法证明更小的 $\sigma$ 是足够的。在训练中，由此得到的 $\sigma$ 优于该公式，并且在测试准确率方面与一份已发表的核算器相当。它可在几秒内求得，并在几分钟内完成认证；相比之下，我们使用该核算器进行的每次搜索要么耗时更长，要么返回的噪声至少多出 $0.62\%$。我们表明，针对训练模型的 MIA 始终低于该界。