面向预训练模型的几何感知适配

arXiv:2307.12226v3 公告类型：替换 摘要：机器学习模型——包括知名的零样本模型——通常在这样的数据集上训练：其标签仅占更大标签空间的一小部分。这类空间通常配备了一种度量，通过标签之间的距离来描述它们之间的关系。我们提出了一种简单的方法来利用这些信息，在无需额外训练的情况下，使训练好的模型能够可靠地预测新类别；或者对于零样本预测，提高其性能。我们的方法可以直接替换标准预测规则，将 argmax 换成 Fréchet 均值。我们对该方法进行了全面的理论分析，研究了：（i）标签空间直径、样本复杂度和模型维度之间的权衡所对应的学习理论结果；（ii）能够预测任意未观测类别的全部场景的刻画；以及（iii）一种类似主动学习的最优下一类别选择过程，用于在无法预测全部未观测类别时获得最优训练类别。在实证方面，借助易于获取的外部度量，我们提出的方法 Loki 在 ImageNet 上相较于 SimCLR 实现了最高达 29.7% 的相对提升，并可扩展至数十万个类别。当不存在此类度量时，Loki 可以利用从类别嵌入中自行推导的度量，并在 CLIP 等预训练零样本模型上取得 10.5% 的提升。