当文本误导时:面向音频落地对话的不一致感知推理
When Text Misleads: Inconsistent-Aware Reasoning for Audio-Grounded Dialogue
精选理由
揭示语音对话中的文本偏差,助力真实语音推理评测与改进。
AI 摘要
理解口语对话需要对词汇内容和副语言声学信号(如情绪和对话意图)进行联合推理。然而,现有评测往往允许模型通过转写文本或单一模态方案走捷径,从而掩盖模型是否真正基于语音进行落地推断。我们将这种失效模式形式化为跨模态分歧:转写文本指向看似合理但错误的表层解读,而韵律或说话风格等声学线索支持不同答案。我们提出一个可扩展框架,用于识别受文本偏置影响的表层解读,并将分歧区域转换为冲突型QA样例。我们还纳入了一致性样例,其中基于转写文本和基于语音的解读相互一致,使评测不再局限于对抗性音频依赖。由此得到 ContraTalk,一个受控基准,包含跨五个话语维度的501个问题:互动行为、情绪状态、对话行为、社会立场和对话意图。我们进一步提出一种 agentic 风格的推理框架,将语音转换为 Audio Twin,一种可被文本读取的局部声学线索表示,从而向推理模型暴露声学证据。实验表明,强大的纯文本 LLM 在一致性样例上准确率超过90%,但在冲突样例上下降到33-48%。直接使用 AudioLLMs 只能提供部分落地能力,在约30-40%的冲突样例中仍会选择由转写文本诱导的陷阱答案。我们的 Audio Twin 框架提高了冲突样例上的准确率并降低了陷阱选择率,但其在一致性样例上的表现仍依赖于底层模型。这些结果表明,基于转写文本的捷径是口语对话理解中的一个重要失效模式,并显示显式汇聚声学证据为诊断和改进语音落地推理提供了一个更可控的接口。