高维渐近理论与隐私保护迁移学习中的数据集选择

arXiv:2610.02578v1 公告类型：cross 摘要：决定购买外部数据或参与协作学习时，必须判断额外数据带来的预测性能提升是否足以抵消其成本。这一问题面临多项挑战：（i）决策通常只能依赖公开可用的聚合统计量，而非个体层面的数据；（ii）协变量偏移和模型偏移可能导致负迁移，使额外数据非但没有提升性能，反而使其恶化；（iii）如果数据具有敏感性，则需要通过注入噪声进行隐私化处理，而这也可能抵消更大样本量所带来的收益。本文通过具有多个异质数据源的高维回归和加权岭估计量，对数据集选择问题进行建模。我们的方法仅使用汇总统计量，并在$\rho$-零集中差分隐私意义下，为仅保护标签隐私或同时保护特征和标签隐私提供隐私保证。本文的主要技术贡献是给出测试误差的一个确定性等价表达式，该表达式刻画了样本量、协方差结构、模型偏移、正则化和隐私噪声之间的相互作用。我们的理论能够优化超参数（权重和岭正则化参数），更广泛地说，还能在无需访问数据、仅依赖总体层面量的情况下，判断何时使用隐私保护的外部数据是有益的。我们通过在合成数据集和真实世界数据集上的实验，支持了这一为隐私保护迁移学习提供理论上易于处理基础的方法。