HRIL：通过高阶张量建模学习多模态协同

自监督多模态表示学习已在多个领域取得显著成功，但由于跨模态交互的复杂性，捕捉协同信息仍然具有挑战性。不同于存在于各个模态之间的共享信息，协同信息只有在多个模态的联合配置下才能产生与任务相关的信号，且无法从任何单一模态中恢复。本文聚焦于如何在多模态表示中保留这类协同信号的信息容量。我们的关键观察是，协同信息体现在模态之间的高阶统计依赖关系中，而这为显式建模联合交互提供了一个有原则的目标。受此启发，我们提出高阶表示与信息学习（Higher-order Representation and Information Learning，HRIL），在模态嵌入上构建经验交叉矩张量，以表示多路交互。HRIL采用Tucker分解获得核心张量，并结合协同感知正则化项，防止能量集中，从而保留用于捕捉协同信息的高阶耦合容量。在受控协同任务和真实世界基准数据集上的实验表明，与现有多模态对比学习方法相比，HRIL取得了稳定的性能提升，尤其在由协同交互主导的任务上表现出显著增益。代码已发布于 https://github.com/brightest66/HRIL】【。