对比学习中用于语义几何的锚点散度
Anchor Divergence for Semantic Geometry in Contrastive Learning
精选理由
提出锚点散度，让固定向量表示适配不同语义场景，提升检索中相似度衡量的灵活性。
AI 摘要
arXiv:2610.06919v1 公告类型：交叉发布 摘要：本文研究语义上下文如何决定所学习向量表示中的几何结构。相似性通常使用余弦相似度来衡量，这提供了一种单一且固定的几何结构。然而，语义相似性本质上依赖于上下文：两幅图像可能因为描绘了同一物体、具有相同的视觉风格，或与同一临床发现相关而相似。我们表明，对比学习得到的表示天然涵盖一族几何结构，可针对特定语义结构进行特化。核心思想是利用对比学习、指数族与信息几何之间的相互作用，在“锚点”上的概率分布与表示空间中的 Bregman 几何之间建立对应关系。我们利用这一对应关系定义“锚点散度”，这是一种在固定表示上指定上下文特定语义几何的方法。在这一对应关系下，对锚点分布建模就是对几何结构本身建模。检索实验表明，锚点散度为指定上下文特定的语义相似性提供了一种有效且高效的方法。