MVFA：一种用于情感分析和情绪识别的多视角文本引导多模态融合 LLM 适配器

对话中的多模态情感分析和情绪识别需要对文本、声学和视觉模态之间的异构交互进行有效建模。尽管大型语言模型（LLM）具备强大的语言理解能力，但将其适配到多模态情感计算仍然面临挑战：全模型微调的计算成本过高，而许多现有的轻量级适配器无法在跨模态融合过程中保留丰富的文本线索。为解决这些局限性，我们提出多视角文本引导多模态融合适配器（MVFA），这是一种参数高效的框架，能够为冻结的 LLM 增强强大的多模态推理能力。MVFA 首先通过最大池化、平均池化和注意力池化构建互补的文本视图；随后，这些视图引导音频和视觉特征之间的跨模态交互。融合后的多模态表示通过 Enhanced Q-Former Fusion Module 进一步压缩为一组紧凑的可学习伪标记。我们以 ChatGLM3-6B-base 作为主要主干模型，并在 LLaMA2-7B 和 Qwen3-8B 上进一步验证 MVFA，以考察其在多个冻结 LLM 主干模型之间的可移植性。MVFA 在三个具有挑战性的数据集上进行了评估：CH-SIMS V2.0、MELD 和 CHERMA。实验结果表明，MVFA 仅更新很小一部分参数，便在关键指标上取得了最先进的性能。具体而言，在 CH-SIMS V2.0 上达到 84.62\% Acc2 和 84.59\% F1，在 MELD 上达到 67.36\% Acc 和 66.03\% WF1，在 CHERMA 上达到 74.66\% Acc。这些结果表明，多视角文本引导融合是情感计算领域一种有效且可扩展的参数高效多模态 LLM 适配范式。代码公开于 https://github.com/Overwhelm1208/MVFA。