从第一性原理出发的数据集剪枝：一种无标签线性规划方法

arXiv:2610.10347v1 发布类型：cross 摘要：数据集剪枝旨在将大型训练集缩减为具有代表性的子集，同时保持模型性能。现有的基于几何的方法通常假设嵌入空间中彼此接近的样本具有相似的属性。我们不预设这一假设，而是将无偏子集选择重新表述为方差最小化问题，并由此推导几何选择准则。无偏性确保了子集的非加权平均值在期望意义下能够恢复完整数据集的平均值，包括固定模型参数下的损失和梯度。具体而言，我们将一族无偏子集选择算法刻画为一个高维多面体。在此背景下，最小化期望采样方差是一个线性目标。对刚体运动取平均后，采样方差的差异可以表示为成对样本的闭式表达式。由于该多面体维度很高，直接应用标准线性规划并不现实。因此，我们利用这些表达式构造了一种高效的顶点遍历方法，在保持无偏性的同时优化方差目标的近似值，从而得到一种在选择过程中既不需要标签、也不需要训练模型的方法。在 CIFAR-10、MNIST 和 CelebA 基准测试中，我们的方法在所有评估的预算下，平均测试准确率均达到或超过均匀采样，并且在多种设置下优于竞争性的几何方法，尤其是在选择预算较小时。除数据集剪枝外，该框架还可以在保持批大小不变的情况下，通过提高小批次内部的多样性来降低随机梯度方差。