MoEMB：使用高效混合专家模型扩展通用多模态嵌入
MoEMB: Scaling Universal Multimodal Embeddings with Efficient Mixture-of-Experts Models
精选理由
通过 MoE 扩展多模态嵌入能力，以更少计算提升检索表现，并探索按需计算降低大规模部署成本。
AI 摘要
arXiv:2609.08663v2 公告类型：替换 摘要：通用多模态嵌入（UME）对编码器处理更广泛任务和模态的能力提出了日益增长的需求，同时任务和模态的复杂性也在不断提升。以往的扩展方法要么增加表示规模，要么增加检索开销，要么将编码器扩展为庞大的多模态 LLM。近期工作（如 Think-Then-Embed（TTE））探索了通过推理 token 进行扩展。然而，嵌入模型难以扩展：直接增加参数量会与对比学习所需的大训练批次大小形成权衡，而检索服务则必须满足严格的延迟要求。此外，UME 任务的复杂程度各不相同，扩展嵌入器可能带来大量冗余计算。在本文中，我们提出 MOEMB，通过混合专家（MoE）沿专家轴扩展 UME，在保持单向量、非自回归编码的同时提升编码器容量。通过系统研究基于 MoE 的 UME 设计空间和训练方案，MoEMB 在使用公开 MMEB 系列数据训练的模型中，于 MMEB-V2 和 MRMR 上均取得了新的最佳性能：仅使用 3B 激活参数，MoEMB 就超越了激活参数量超过其 4 倍的基于 TTE 的方法，同时显著减少了计算量。为进一步提升可扩展性和效率，我们首次全面研究了基于 MoE 的嵌入的自适应计算，涵盖训练方法和仅推理方法中的多种策略。综合来看，这些结果表明，专家扩展是 UME 的一种高效有效方向；自适应计算还能进一步提升基于 MLLM 的嵌入模型的效率，使其更适用于大规模检索和推荐系统。