arXiv cs.AI精选74

通过单纯形约束表示弥合模态鸿沟

Closing the Modality Gap via Simplex-Constrained Representations

· 2天前

精选理由

以单纯形约束校准多模态表示,显著缩小模态差距,并保持或提升检索表现。

AI 摘要

尽管 CLIP 和 CLAP 等多模态对比模型成功学到了共享表示,但其嵌入通常仍存在持续的\emph{模态鸿沟}。我们提出通过一种纯几何方法来解决这种分离:将嵌入域从单位球面 $S^{d-1}$ 改为概率单纯形 $Δ^{d-1}$。虽然这两个流形具有相同的内在维度,但单纯形发挥了结构先验的作用;其非负性和总质量为一的约束构成了一种跨模态校准,迫使两种模态都以同一坐标系为基础。通过附加轻量级 softmax 适配器并采用总变差相似度,我们在五个多模态检索基准上将质心间的 $\ell_2$ 差距缩小了 97--99\%。这证实了单纯形几何能够促成真正的语义对齐,其检索性能达到或超过标准无约束模型。

查看原文(arXiv cs.AI)