通过识别和生成代表性不足的数据来平衡表征

自监督学习会继承其源数据的覆盖范围。当无标签语料库呈长尾分布时，表征在高频模式周围变得密集，而在覆盖不足的区域则较为稀疏。针对长尾 SSL 的目标函数会对语料库中已有的图像重新加权，却不会添加新图像。我们提出 BRIDGE（Balancing Representations by Identifying and Generating Under-represented Data），一种围绕源数据集构建的无标签反馈循环。当前编码器根据每张源图像的平均 kNN 距离为其评分，随后，受预算约束的数据获取规则从该评分分布的某个区间中选择图像；在这一区间内，数据支撑较为稀疏，同时生成器仍能生成忠实于原图的变体。接着，一个冻结的图像到图像扩散模型为选定的锚点添加局部变体，并在扩充后的源数据集上继续预训练。我们将数据获取形式化为按可恢复性加权的局部支撑分配问题，并推导出：有限预算在何种条件下应优先分配给排除极端尾部的稀疏区间，以及在固定目标下，何种条件下每次修复后重新分配预算才是最优策略。在涵盖长尾、网络抓取和合成数据的五种源数据设置中，BRIDGE 在七项任务上的线性探测平均成绩和 kNN 平均成绩均为所比较方法中的最高水平。配对实验进一步表明，其增益可扩展至采用对比学习和自蒸馏目标的 ViT-S、少标签微调以及语义分割。在掩码重建目标下，线性探测的增益较小。生成式修复的效果与恢复被保留真实图像的理想基准相当；在编码器冻结的情况下，插入的图像使选定锚点邻域收缩的幅度，约为与之匹配的未选图像邻域收缩幅度的两倍。BRIDGE 无需标签，也不改变预训练目标，因此可融入基于未经筛选的网络数据的预训练流程，由编码器决定生成哪些图像。