基于污染样本的设计稳健型分布学习

arXiv:2610.40884v1 公告类型：交叉发布 摘要：现代数据分析流程日益依赖通过检索、抓取、自动筛选和事后整理构建的大规模数据集，其中观测样本往往是受污染的混合样本，而非来自目标总体。标准的分布学习目标要么忽略污染并收敛到错误的目标，要么仅保留少量可信子集并丢弃大部分数据。我们研究监督学习和无监督学习中的一种情形：将干净的参考样本与来自 $r=(1-\epsilon)q+\epsilon z$ 的混合样本进行比较，其中 $q$ 是潜在的目标分布，$z$ 是未知的污染分布。针对所有观测均具有带噪声的归属评分、而少量经核查的子集具有准确标签的场景，我们提出污染校正最大均值差异（CC-MMD）。这是一种基于抽样设计的估计量，它将代理评分与基于核查的残差校正相结合，以恢复原本可由潜在干净样本计算出的理想 MMD。CC-MMD 无需对代理评分作出校准假设，除标准的核正则性条件外，也无需对污染分布作出结构性假设。我们证明了校正后核求和项在有限总体下的设计无偏性，确立了核查校正项的渐近正态性，并证明了其对目标差异 $\mathrm{MMD}^2(p,q;k)$ 的估计一致性。实证结果表明，随着污染程度增加，CC-MMD 仍能紧密追踪理想值，改善受污染回归中的参数恢复与预测，并使在严重受污染的混合样本上训练的生成模型能够恢复干净的目标分布。这些结果表明，受污染的数据既不必被丢弃，也不必被视为待估计的目标。借助少量可信标签和大量带噪声的监督信息，可以通过设计使分布学习目标具备稳健性。