图像自蒸馏的数据密度缩放定律

arXiv:2610.19013v1 公告类型：新论文 摘要：现有缩放定律的表述认为，增加数据集中独立样本的数量能够提升模型性能，而反复使用相同样本的收益则会递减。在本研究中，我们针对图像自蒸馏模型考察了这一假设。通过在 Maxar、SATLAS、Waymo、nuPlan、Ego4D、ImageNet 和 YFCC15M 等不同数据集上开展系统实验，我们表明，样本重复对下游性能的影响并不简单，且取决于数据集。我们发现，在某些情形下，在较小的随机子集上反复训练，其效果可能优于在包含更多独立样本的较大数据集上训练。这一发现揭示了现有缩放定律的局限性。为弥补这一不足，我们提出了一种修正的 Chinchilla 式缩放定律，明确考虑了两个因素：独立样本数量和每个样本的重复次数。该表述为理解数据与计算资源之间的权衡提供了框架，并在重复起核心作用的某些情形下提高了预测准确性，但其收益在不同数据集上并不一致。最后，我们考察了子集选择和数据增强如何影响下游性能。