重新思考长尾数据下监督对比学习中的表示几何结构
Rethinking Representation Geometry in Supervised Contrastive Learning under Long-Tailed Data
精选理由
揭示长尾监督对比学习的几何缺陷，提出结构平衡方法，提升表示均衡性及识别与迁移性能。
AI 摘要
arXiv:2610.32039v1 公告类型：new 摘要：监督对比学习及其平衡变体已证明其在长尾分布下进行表示学习的有效性。然而，尽管先前的分析表明，其最优表示可能呈现正则单纯形几何结构，但这种几何结构是否确实会出现，仍缺乏充分理解。在本文中，我们为这些目标函数提出了一个理论框架，用于刻画最优解处是否会形成正则单纯形。通过将该框架应用于具有代表性的目标函数，我们表明，这些目标函数在最优解处无法形成正则单纯形，因为它们仍然依赖于每个类别的样本数量。受这一分析启发，我们引入了可应用于对比目标函数的 structural balancing，并提出了一种完全平衡的对比目标函数，该目标函数能够在其最优解处被证明形成正则单纯形几何结构。理论和实证结果均表明，所提出的方法能够产生更加平衡的表示空间，并提升长尾识别和迁移学习任务的性能。