ReToken：使用视觉检索令牌改进长上下文 VLM

arXiv:2607.28627v2 公告类型：replace-cross 摘要：长视觉上下文给视觉语言模型带来了挑战：随着干扰项数量增加，模型性能会下降，而且一次性处理所有令牌可能超出 GPU 内存限制。我们提出 RETOKEN，这是一种单一的可学习嵌入，能够从 VLM 的内部表示中提取检索信号，从预填充的 KV cache 中选择与查询相关的视觉令牌。借助这一方法，无需单独的检索器或重新编码，即可在负责回答的 VLM 内部执行检索。尽管 RETOKEN 仅使用一个小型图像问答数据集进行训练，但它能够泛化到图像和视频基准。在 Visual Haystacks 上，它使 Qwen3VL-8B 的性能提升 13.4 个百分点，使 InternVL3.5 提升 12.4 个百分点（相对提升超过 20%）。在 LVBench 上，它能够零样本迁移到长视频场景，并使 Qwen3VL-8B 的性能提升 8.0 个百分点。得益于轻量化设计，训练和长视频推理均可在单张 H100 上完成。代码见：https://github.com/avaxiao/ReToken