FairSSL：公平的多模态自监督学习

arXiv:2508.16748v2 公告类型：替换 摘要：当前普遍采用的多模态自监督学习（SSL）方法依赖于冗余假设：不同视图之间共享大量与任务相关的信息。我们认为，在以异质性为特征的复杂现实场景中（例如长度可变的医疗或行为数据），这一假设并不成立；在这些场景中，强制进行严格对齐可能会丢弃独特的模态特定信号，并无意中放大偏差。在本文中，我们提出 FairSSL，这是一种将数据异质性视为公平性资源而非障碍的框架。不同于标准的对比学习方法，FairSSL采用面向受试者的 Variance-Invariance-Covariance Regularization 目标函数，在同一受试者的不同片段之间施加对齐约束。我们引入基于片段的池化策略，以处理长度可变的模态，并对表征进行正则化，以促进：（i）受试者内部充分的变化性；（ii）跨模态和跨受试者不变性；以及（iii）表征去相关。理论分析表明，我们的目标函数能够界定受保护群体之间的得分差距。在实验中，FairSSL在异质多模态数据集上显著优于现有基线方法，在不牺牲下游预测性能的情况下提升了公平性。代码见：https://github.com/abtinmU/FairSSL