面向分布内数据获取的共形数据污染检验

arXiv:2507.13835v2 公告类型：replace-cross 摘要：在许多机器学习任务中，高质量数据的数量受限于数据所有者本地可获得的数据。通过与外部数据代理进行交易或共享，可以扩展高质量数据集。然而，外部数据可能受到污染，或引入不理想的样本多样性，从而降低个性化机器学习任务的性能，例如罕见疾病诊断或推荐系统。因此，数据购买者在获取数据之前需要质量保证。以往研究主要依赖关于不同代理所持数据的分布假设，将质量检查 relegated to 事后步骤，并涉及成本高昂的数据估值流程。我们提出一种无分布假设且具备污染感知能力的数据获取框架，该框架仅通过检查少量数据，便可识别出对模型个性化最有价值的外部数据代理。为实现这一目标，我们引入了新颖的双样本检验程序，在完整获取数据之前执行，并以关于共形异常值检测的严谨理论基础为依据，用于确定某个代理的数据是否超过污染阈值。所提出的检验称为共形数据污染检验，在任意污染水平下均保持有效；此外，新颖的 Storey-type 检验可通过 Benjamini-Hochberg 程序，在有限样本条件下实现可证明的错误发现率控制。在多种协作学习场景中的实证评估表明，我们的方法具有稳健性和有效性。总体而言，共形数据污染检验是一种通用的数据聚合程序，能够提供具有严格统计保证的数据质量保障。