用于表征学习的全局平均精确率

arXiv:2610.09863v1 公告类型：交叉收录 摘要：标准信息检索指标（如平均精确率均值（mAP））逐个查询评估性能，依据是查询与其正样本的相似度相对于其与负样本的相似度的高低。常见的表征学习损失（如 InfoNCE 和逐查询 AP 替代损失）也是如此。它们都不考虑不同查询之间的相似度是否具有可比性，而任何采用单一决策阈值的系统都依赖这一点。全局平均精确率（gAP）则考虑了这一点：它将所有查询-候选样本对放入同一个列表中排序，并计算单一的 AP。我们提出了 gSAP，一种 gAP 的可微替代损失。它只需要一个相似度矩阵和一个标记正样本对的二值矩阵，与现有损失的输入相同，因此可以直接替换这些损失，且不依赖于编码器、模态或监督来源。由于它联合考虑批次内所有可能的两两比较，因此在低温度下仍然可以训练，而逐查询替代损失在这一条件下会出现梯度消失。将其替换到成熟的训练方案中，可以改进有监督度量学习、跨模态对齐和自监督预训练；据我们所知，在后两项任务中，它是首个替代社区标准 InfoNCE 的排序损失。它产生的相似度在不同查询之间更为一致，从而提升了统一阈值下的性能。在相同精确率下，gSAP 检索出的正样本对数量最高可达最强 AP 替代损失的四倍；当加入在数据库中没有正样本的查询时，其性能下降幅度也最小。除了阈值判定方面的优势外，使用 gSAP 训练的模型还能学到更好的表征，在迁移、$k$NN 和零样本分类上取得更高的准确率。