跳出框外绘制：为视觉定位合成和筛选训练数据
Paint Outside the Box: Synthesizing and Selecting Training Data for Visual Grounding
精选理由
介绍一种通过图像合成与智能筛选缓解视觉定位数据稀缺、提升模型性能的方法。
AI 摘要
arXiv:2412.00684v3 公告类型：replace-cross 摘要：视觉定位旨在根据文本查询定位图像中的区域。鉴于大规模数据整理的困难，本文研究了如何在数据稀缺的条件下有效地进行视觉定位学习。为应对数据稀缺问题，我们提出了一种新颖的框架 POBF（Paint Outside the Box and Filter）。POBF 通过对框外区域进行图像修复来合成图像，解决了以往工作中遇到的标签错位问题。此外，POBF 采用一种创新的筛选方案，以选择最有效的训练数据。该方案结合了难度分数和过拟合分数，并通过惩罚项进行平衡。在四个基准数据集上的大量实验表明，POBF 能够持续提升性能：相比仅使用真实数据的方法，平均提升 5.83\%，并在准确率方面领先于现有最佳基线 2.29\%-3.85\%。此外，我们还验证了 POBF 在不同生成模型、训练数据规模和模型架构下的稳健性与泛化能力。