基于语义关系条件的多模态表示学习

arXiv:2508.17497v3 发布类型：替换 摘要：多模态表示学习主要由 CLIP 等对比模型推动，这类模型通过对齐成对的图像—文本样本来学习共享嵌入空间。尽管这类模型在通用表示学习方面表现有效，但通常会为每个样本生成一个单一嵌入，并将其复用于不同的语义关系和上下文。然而，在许多现实应用中，样本之间的相关性本质上取决于关系，不同的语义关系会突出多模态数据的不同方面。在本文中，我们提出 Relation-Conditioned Multimodal Learning (RCML)，这是一个将语义关系作为多模态表示学习显式条件的框架。RCML 不再生成与关系无关的嵌入，而是根据自然语言关系描述学习条件化表示，使同一样本在不同关系上下文中能够以不同方式表示。该框架构建关系感知的训练对，引入关系条件模块以使嵌入适应关系语义，并采用统一的对比目标，同时建模跨模态对齐和由关系诱导的样本间结构。在多个数据集上的实验表明，RCML 在零样本、微调和域外设置下的检索与分类任务中均持续优于强基线，凸显了利用语义关系引导多模态表示学习的有效性。