全交互式通用嵌入器

多模态表征学习正从传统的双塔架构转向基于大语言模型（LLM）的嵌入器，因为它们具有很强的指令遵循能力。尽管取得了这些进展，现有方法主要关注语言和图像模态，而这两者也仍然是当前嵌入器中用户条件交互的主导模态。本文提出首个 Omni-Interactive Universal Embedder（OmniUE），它不仅通过利用专用可学习 token 的中间层表示，在文本、视频和音频之间学习统一的嵌入空间，还支持全交互式查询，使用户能够以文本、感兴趣的视觉区域和音频片段的形式提供输入。在 OmniUE 中，视觉和音频分割器处理多样的用户交互，并将其与 omni-LLM 集成，通过上下文聚合生成用户条件化的任意到任意嵌入。为评估 OmniUE 的全交互能力，我们提出 OmniCHOIR，这是一个用于全交互式组合音频检索的基准，基于给定的文本、视频和音频，以及单模态或多模态交互提示，对模型进行评测。OmniUE 在多种模态上始终优于最先进的基线，在文本交互视频基准（MMEB-v2-video）上平均提升 10.5%，在音频任务（MAEB）上提升 1.1%，在视觉交互基准（SCaR）上提升 83.7%，在我们的全交互 OmniCHOIR 基准上提升 24.1%。我们相信，协同推进全模态表征学习和全交互式查询将为通用嵌入器铺平道路。