持续机器遗忘的极小极大高斯机制

arXiv:2610.11628v1 公告类型：cross 摘要：机器遗忘在删除记录后更新已训练模型，旨在无需重复完整训练过程而实现与精确重新训练相匹配的效果。我们针对连续删除请求下的 Newton 更新，构建了高斯机制。利用高斯差分隐私（GDP）及其自适应组合规则，我们证明，所发布模型的完整序列在统计上难以与相匹配的精确重新训练结果区分。为校准这些用于经验风险最小化的机制，我们推导了 Newton 近似相对于精确重新训练的误差上界，以及每个删除批次之后该误差变化的上界。独立高斯噪声利用每次发布时完整残差的界进行校准，而高斯随机游走噪声则利用残差增量的更小界进行校准。在由此得到的 GDP 认证约束下，这些界给出了使各次发布中的最坏情况下最大噪声方差最小化的分配方案。基于计数的界表明，当删除上限为 $M$ 时，随机游走噪声的渐近最坏情况方差与单次发布的方差相匹配，而独立噪声则额外产生一个 $M$ 阶的因子。基于集合的界可以利用被删除记录的梯度和 Hessian，从而降低噪声方差。对于单条记录删除，我们进一步证明，在各自的残差界或增量界下，基于计数的独立噪声、基于计数的随机游走噪声和基于集合的独立噪声，在固定高斯协方差中分别是极小极大的。在使用基于集合的界时，允许方差随被删除记录自适应变化，在某些数据序列上可相对于任何固定协方差提升一个 $(\log M)^2$ 阶的因子。残差界和噪声界还可在所有删除策略下，相对于精确重新训练保证参数一致性和预测一致性。我们通过模拟实验和信用违约数据分析，评估了这些界、噪声方差和估计误差。