ViTAMINS：利用合成困难负样本训练自监督视觉 Transformer 的实证研究
ViTAMINS: An Empirical Study of Training Self-Supervised Vision Transformers with Synthetic Hard Negatives
精选理由
提供更高效的自监督ViT训练方法，显著提升表征与下游任务表现
AI 摘要
我们提出 ViTAMINS，一种将合成困难负样本整合到无监督视觉 Transformer 预训练中的方法，以提升表征质量。我们在 ImageNet 以及迁移学习、图像检索、拷贝检测、图像和视频分割任务上对该方法进行了全面基准评测。值得注意的是，我们提出的负样本带来了涌现性质，使学得的表示包含图像语义内容的显式信息，并可作为出色的分类器（相比基线最高提升 +11.3%）。ViTAMINS 通过对现有对比学习框架进行简单修改即可实现这些收益，并且在更高资源效率下优于竞争方法，例如，我们的 ViT-B 超越了使用 ViT-L 的 V-JEPA。我们的发现促使人们重新审视对比学习，将其视为一种比主导性的生成式和自蒸馏方法更简单但同样强大的替代方案。