在 Token 空间中读取情绪：面向情绪识别的 SpeechLLMs 判别式适配
Reading Emotions in the Token Space: Discriminative Adaptation of SpeechLLMs for Emotion Recognition
精选理由
将语音大模型改造成可控情绪分类器，提升少数类识别并揭示其潜在偏见。
AI 摘要
SpeechLLMs 在情绪识别方面展现出巨大潜力，但它们依赖并不适合分类任务的生成式解码器来读取预测情绪：该解码器可能输出目标集合之外的标签，并偏向高频类别。我们提出一种判别式适配方法，通过分类头读取提示末尾 Token 的隐藏状态，在不修改骨干网络的情况下，仅需一次前向传播即可生成标签。由于这种读取方式始于模型原本会用于解码的隐藏状态，因此能够在其他条件完全相同的 SpeechLLM 中，对生成式推理和判别式推理进行可控比较。我们将分类头保持为单个线性层，以较小的准确率代价换取可解释性：每种情绪都对应 LLM 输出 Token 空间中的一个方向，并揭示与之相关的 Token。在 IEMOCAP 上，针对两种 SpeechLLM 架构，该方法提升了 Macro F1 并消除了幻觉现象；在更贴近现实的 ASR 转录文本上，提升幅度最大。我们的分析表明，这些情绪方向编码了间接关联，反映出大规模网络文本中的偏差。