ConsMSA：面向多模态情感分析的语义分布一致性学习

arXiv:2610.31731v1 公告类型：新 摘要：多模态情感分析（MSA）旨在通过整合文本、视频和音频等不同模态的信号来预测人类情感。然而，原始多模态序列通常存在语义不一致问题——在模态内部及模态之间表现出冗余或冲突，从而阻碍稳健理解并增加计算成本。为此，我们提出 ConsMSA，显式刻画模态内与模态间的语义分布一致性，为稳健、高效的多模态情感预测提供一致性感知机制。具体而言，ConsMSA 将多模态 token 特征投影到共享情感空间中，以计算模态内与模态间一致性得分（$I^2CS$）。通过将该得分与预测相关性相结合，我们构建了一致性感知的重要性信号，并将其用于：（i）作为一致性正则化项，在训练过程中对齐潜在分布；（ii）生成语义感知权重，对多模态 token 进行自适应重加权；（iii）作为实用标准，剪除冗余或冲突的 token。在 CMU-MOSI、CMU-MOSEI 和 CH-SIMS 上的大量实验表明，ConsMSA 达到了当前最优性能，同时在激进的 token 压缩下仍保持稳健——仅保留 10% 的 token 即可获得相当的准确率。这些结果表明，语义分布一致性有望成为协同提升预测稳健性与计算效率的基础。