DenseTwins：用于多模态自监督学习的稠密模态解耦

多模态感知是许多计算机视觉应用的核心，包括机器人和自动驾驶等领域，其中不同的感知模态能够提供互补线索。自监督学习为利用大量无标注多模态数据提供了可扩展的解决方案。然而，现有方法要么通过强制不同模态之间在特征空间中对齐而忽略模态特有信息，要么仅学习全局表示而无法保留空间结构。我们提出了 DenseTwins，这是一种多模态自监督框架，通过显式地将稠密特征空间解耦为共享成分和模态特有成分来学习稠密表示。该方法将稠密跨模态对应关系与冗余消除目标相结合，使模型能够在结构化的稠密嵌入空间中同时捕获共享语义和模态特有线索。DenseTwins 联合优化跨增强视图的模态内目标，以及对齐共享特征并使模态特有信息去相关的跨模态目标。我们在多个多模态基准和感知设置上对 DenseTwins 进行了评估，在多模态自监督基线中取得了最先进或具有竞争力的性能。代码地址：https://github.com/CarloSgaravatti/DenseTwins。