无监督文本行人搜索的生成式检索

基于文本的行人搜索（TBPS）旨在根据给定的自然语言描述，从大规模图像库中检索目标人物的图像。现有大多数方法依赖于使用人工标注的图像-文本对进行监督学习。本文探索仅使用无标注图像的无监督TBPS。我们提出了GTR+，一种先生成后检索的两阶段框架。在生成阶段，我们引入了一种分层描述生成框架，通过三级顺序处理生成细粒度且风格多样的文本描述：基础层利用自动问答机制生成基本的视觉属性描述；中间层通过样本间对比机制增强细粒度细节；高级层则通过风格化扩展机制进一步丰富文本多样性。在检索阶段，为减轻噪声伪文本的影响，我们设计了一种自适应置信度加权检索学习框架。我们使用Gaussian Mixture Model将图像-文本对建模为干净样本或噪声样本，并结合实时图像-文本相似度以及前一阶段生成的静态文本概率进行校准，从而在训练过程中获得自适应的样本权重。此外，我们还贡献了LargeFine-Person，这是一个大规模TBPS数据集，包含高质量、细粒度且多样化的文本标注，可在无监督设置下为实际应用和具备泛化能力的TBPS预训练提供基准。多个TBPS基准上的实验表明，GTR+和LargeFine-Person均具有良好的有效性和泛化能力。代码地址：https://github.com/Flame-Chasers/GTR】【。