迈向忠实的数据选择：统计极限与可扩展算法

arXiv:2610.30442v1 公告类型：新论文 摘要：最优数据选择算法意味着什么？传统上，最优性被定义为找到一个子集，使仅在该子集上训练的分类器的总体误差最小化。本研究首先证明，除非数据选择算法能够访问一个在数量级上大于训练集的验证集，否则从信息论角度而言，这一目标不可能实现。这一不可能性结果促使我们从无法验证的总体风险最小化转向一种单侧保证，我们将其称为忠实性：对于任意候选子集，我们提供一个可估计的代理量，它给出了在完整训练数据上训练与仅在该子集上训练之间差异的上界。我们使用未调整的 Langevin 算法对训练过程建模，并以沿轨迹累积的梯度差异来界定子集训练与全量数据训练所得参数分布之间的 Kullback--Leibler 散度上界。最小化这一差异为子集选择提供了一种有理论依据的方法。尽管由此得到的问题是 NP 难的，我们仍提出了一种基于交换的局部搜索方法，能够在每个被接受的步骤中降低该上界。因此，它可以改进任何选择器的输出，而不会使其上界变差。最后，我们给出了在 CIFAR10 和 CIFAR100 上的实验结果，表明该方法的表现与现有数据选择基线相当。算法实现及复现实验结果的代码可在以下地址获取：https://github.com/Mehdi-Inane/data_selection_swap。