面向区域的 CLS Token 增强用于细粒度图像检索

arXiv:2610.10991v1 公告类型：cross 摘要：图像检索方法通常依赖从图像中提取的单一全局语义描述符，例如视觉 Transformer 中的 [CLS] token。然而，试图将图像的全部语义信息压缩到单个描述符中，可能会损害下游检索性能，尤其是在细粒度检索任务中。在本文中，我们使用精心选择的空间 token 集合，对新型视觉 Transformer 中的语义 token（全局 [CLS] token 和四个寄存器 token）进行增强，旨在捕获刻画每个语义 token 所包含内容的空间区域表示。我们采用 DINOv2-reg 模型，该模型包含能够自发学习物体及其部件表示的寄存器 token。对于每个“提示”token（[CLS] 以及每个寄存器 token），我们找到一个对应的图像“伙伴”图像块 token，并提取一个 N x N 的图像块区域，从而生成一组局部化 ROI token。我们的方法无需任何外部边界框或显著性模块，仅通过将语义 token 与其空间表示区域进行匹配，即可自动捕获重要的感兴趣区域。此外，我们将这些 token 融入受 ColBERT 启发的多向量检索框架，通过逐 token 对齐机制实现细粒度匹配，同时避免存储所有图像块嵌入所带来的巨大存储开销。通过大量实验，我们发现：（1）寄存器 token 编码了有用的细粒度细节，可以补充 [CLS] token；（2）自动池化得到的 ROI token 能进一步提升细粒度区分能力；（3）使用少量 token 的多向量检索性能优于 DINOv2-reg 单向量基线，同时对于大规模搜索仍具备可行性。代码可在 https://github.com/IdhcbIan/Augmenting_CLS_with_ROI_tokens 获取。