差分隐私混合公共数据集可提升隐私学习效果

许多机器学习应用涉及敏感数据，因此需要在差分隐私（DP）条件下进行训练。然而，DP 训练通常会降低模型效用。在某些情况下，先使用“公共”数据对模型进行预训练，再在敏感数据上通过 DP 进行微调，可以减小效用损失。但这一方法能否成功，取决于所选公共数据集与敏感数据的相关程度。我们提出了首个针对给定敏感下游任务，私下学习多个公共数据集混合比例并据此进行预训练的流程。我们的关键洞见是：通过私下学习一个低维线性模型，可以私下找到多个公共数据集的最佳混合比例。我们在用于 X 射线分类的 NIH 数据集和用于语言建模的 ENRON 电子邮件数据集上测试了该方法。应用我们的方法，为 NIH ChestX-ray14 数据集中的疾病寻找定制的 X 射线数据集混合比例进行预训练后，与基线相比，我们在不同隐私预算下将宏平均 AUC 最多提升了 0.037；在 ε=1 时，心脏肥大（Cardiomegaly）的相对 AUC 增益最高达到 22.8%。对于 ENRON 数据集上的 DP 训练，在 The Common Pile（一个公共领域文本数据集集合）的混合数据上进行预训练，相比基线混合数据将测试困惑度降低了 16%。