对比学习中的内部差异：泛化界与下游行为

对比学习已成为训练表征模型的一种流行范式。尽管已有研究通过寻求更贴近实际、限制更少的假设来增进对对比学习的理论理解，但这些假设本质上描述的是数据内部或由函数类诱导的表征之间的相互联系。为统一刻画这些假设，我们提出内部差异这一度量，用于量化正样本的平均表征与潜在簇中心之间的差异。随后，我们在不需要额外假设的情况下，证明了对比学习后下游监督任务的一个考虑内部差异的泛化界。该泛化界不仅提供了连接各种假设的统一框架，还启发我们进一步减小内部差异，从而引入松弛的 k-means 损失作为近似。此外，我们从对比学习所引致的监督损失这一视角研究对比学习的下游行为。在类别不平衡的情况下，我们阐明了对比学习为何能够促进不平衡学习。最后，我们研究了这些引致的监督损失的最优性，并证明了若干有趣的性质。