超越文本：基于LLM的多模态对话多维情绪评估

对话中的情绪识别已得到广泛研究，但将大型语言模型（LLM）应用于多模态对话中的连续维度情绪评估，仍基本处于探索阶段。我们提出了一个基于LLM的框架，在IEMOCAP上同时进行离散情绪识别和效价-唤醒度-支配度（VAD）维度评估，并依据SpeechCueLLM方法，将声学线索融入自然语言描述。我们在零样本提示、少样本提示和LoRA微调设置下，对涵盖LLaMA、GPT和Qwen系列的六个模型进行了评估。尽管GPT的规模更大，经过LoRA微调的LLaMA模型在两项任务上的表现均显著优于采用提示工程的GPT模型；我们认为，这一差距源于领域适配，而非模型容量。我们的最佳模型取得了0.7822的效价CCC，在IEMOCAP上达到了新的最先进水平。消融实验表明，文本化的音频描述能够显著提升较小模型的性能（加权F1提升3.5至3.6），但对最大模型的贡献很小，这说明当语言能力受限时，音频线索最具价值。VAD各维度之间的性能不对称性，与IEMOCAP标注结果中标注者一致性的层级高度相似。