arXiv cs.AI精选71

FDSML:基于公式驱动的监督度量学习与参数感知三元组损失

FDSML: Formula-Driven Supervised Metric Learning with Parameter-Aware Triplet Loss

· 23小时前

精选理由

用生成参数构建度量学习信号,显著提升合成预训练的检索迁移与抗扰性。

AI 摘要

公式驱动监督学习(FDSL)无需真实图像即可实现视觉预训练,但现有方法将预训练视为对离散化标签进行分类,从而丢弃了生成过程中的连续性。我们提出公式驱动监督度量学习(FDSML),从图像生成参数中提取关系监督信号,而不仅依赖离散类别标签。FDSML 将我们改进的分形数据集 FineFractalDB(具有更高的类内变化和更稳定的结构)与参数感知三元组(PA-Triplet)损失相结合,根据底层迭代函数系统参数空间中的距离来分配正样本和负样本。该目标函数训练嵌入表示,使其遵循由参数导出的相对相似性排序。实验表明,FDSML 在图像检索方面提升了迁移能力,同时在下游分类任务上保持竞争力,并在多种损坏设置下增强了鲁棒性。在 ResNet-50 上,与 FDSL 预训练相比,Stanford Online Products 上的 Recall@1 从 65.6% 提升至 74.0%,Stanford Cars 上则从 56.2% 提升至 78.4%。这些结果表明,与基于标签的分类相比,由参数导出的关系监督能够为超越识别任务的迁移提供更强的合成预训练信号。

查看原文(arXiv cs.AI)