HRIL：通过高阶张量建模学习多模态协同

arXiv:2610.12393v1 公告类型：cross 摘要：自监督多模态表征学习已在各个领域取得显著成功，但由于跨模态交互的复杂性，捕获协同信息仍然具有挑战性。不同于各个模态之间分别存在的共享信息，协同信息产生于这样的情形：只有在多个模态的联合配置下，任务相关信号才会出现，而从任何单一模态中都无法恢复这些信号。本文聚焦于如何在多模态表征中保留这类协同信号的信息容量。关键观察是，协同信息体现在模态之间的高阶统计依赖中，这为显式建模联合交互提供了一个具有理论依据的目标。基于这一认识，我们提出高阶表征与信息学习（Higher-order Representation and Information Learning，HRIL），在模态嵌入上构建经验交叉矩张量，以表示多路交互。HRIL采用 Tucker 分解获得核心张量，并结合协同感知正则化项，防止能量集中，从而保留用于捕获协同信息的高阶耦合容量。在受控协同任务和真实世界基准上的实验表明，相较于现有多模态对比学习方法，HRIL consistently improved，并在以协同交互为主导的任务上取得了显著提升。代码发布于 https://github.com/brightest66/HRIL。