MERP：用于稳健多模态多标签情绪识别的潜在瓶颈框架

多模态多标签情绪识别对于具备情感感知能力的系统十分重要，但在完整文本、视觉和声学数据流上训练的模型，在部署时部分数据流不可用的情况下通常会出现性能大幅下降。为弥合这一训练-测试差距，我们学习一种紧凑表示，从任意可用的模态子集中保留与情绪相关的证据。我们提出 Multi-modal Emotion Recognition Perceiver (MERP)，将联合序列映射到固定大小的潜变量库中，从而使重复推理不受原始输入长度影响；该模型分别在潜变量推理前后提取标签特定证据，并通过重构对齐这两个层级。MERP进一步采用正类和负类原型、在训练期间使用频率塑形扰动的噪声门控特征增强器，以及置信度感知的按类别融合，以增强可分性、降低对缺失输入的敏感性，并结合互补的预测结果。在测试时随机丢弃20%模态的情况下，MERP在CMU-MOSEI和M3ED上分别取得0.563和0.780的micro-F1，较评估中最强的基线分别高出0.004和0.005；在更严苛的CMU-MOSEI仅音频设置下，其micro-F1仍达到0.473，而LDDU仅为0.022。这些结果表明，固定潜变量推理为稳健的多模态情绪识别提供了一条切实可行且可验证的路径，且无需在训练期间使用缺失模态样本。代码可在https://github.com/Creative-zcx/MERP获取。