面向可解释预测的多模态嵌入领域特定语言对齐

arXiv:2610.23110v1 公告类型：新 摘要：多模态数据通常被融合为潜在表示，以提升下游任务的性能，但这些表示缺乏可解释性，从而限制了其在要求模型决策可解释的领域中的应用。视觉-语言对齐使图像嵌入能够通过语言获得可解释性，但需要大量图像-描述训练数据。然而，对于多模态嵌入而言，带描述的数据通常不可获得，因为相关特征无法仅从嵌入中直接观测和标注。在此，我们提出一种框架，用于对任何能够与可解释辅助数据建立联系的嵌入空间进行语言对齐。描述生成函数将辅助数据转换为部分描述；软对比损失根据每条描述所刻画属性之间的相似性对样本对进行加权；基于排序的概念检索任务则针对辅助数据而非描述来评估对齐效果。我们将该框架应用于多模态地球嵌入，以便为两个物种分布建模任务——S2BMS 和 SatBird——提供可解释的预测。AlphaEarth 嵌入在 7 项指标中的 6 项上击败了此前的最先进模型；与此同时，我们的框架能够对嵌入空间中的领域特定概念进行语言对齐，在两个数据集的平均概念检索任务上均优于此前的地球观测视觉-语言模型。最后，对齐后的概念能够恢复物种-生境关联（$\rho$=0.44），并将生境描述与物种预测联系起来，表明抽象嵌入可以通过领域专家所使用的语言进行探查。