可微排名保持流形学习

t-SNE 和 UMAP 等流形学习方法能够保持局部邻域，却无法保持邻域内部的邻居排名。两个嵌入可能返回相同的邻居集合，但对哪个点最近存在分歧。这种顺序信息的丢失会降低重视嵌入中顺序的下游应用的性能。我们提出 Smooth Rank t-SNE（SR-tSNE），在标准 t-SNE 损失中加入一个可微的排名项。为实现高效训练，该项使用 sigmoid 排名近似，显式地迫使一个点在高维空间中的真实邻居排在无关的闯入点之前，并保留这些邻居的原始顺序。我们还提出 Ordinal DLP（O-DLP），它是 Degree of Locality Preservation（DLP）指标的扩展，仅当某个邻居以其原始排名返回时才予以计分。在涵盖图像、文本、语音、遥感和单细胞数据的八个基准测试中，SR-tSNE 在排名保持和邻域重叠方面优于 12 种基线方法。消融研究表明，仅使用我们的排名项就能将 O-DLP 提高 5% 至 28%，而标准成对损失无法实现这一提升。这一优势也延伸到了下游应用。SR-tSNE 在七个视觉数据集上取得了最佳的标签迁移性能。在六个单细胞数据集的细胞类型发现任务中，无论选择聚类分辨率时是否使用细胞类型标签，它都在 18 种数据集与指标组合中的 17 种上排名第一。在日内交易中，SR-tSNE 相较于基线方法实现了更高的收益、更低的风险和更低的换手率。据我们所知，SR-tSNE 是首个显式保持顺序的 t-SNE 系列方法。