音频 LLMs 能“听见”疼痛吗？追踪从语音到语言推理的声学证据

大型音频语言模型（LALMs）能够直接处理语音，但它们在多大程度上利用语音所承载的非词汇声学信息，仍不清楚。我们以疼痛为切入点研究这一问题，使用 TAME-Pain 数据集，其中包含不含疼痛信息的 Harvard 句子，以及在不同自报疼痛程度下录制的口述疼痛评分。我们提出 HEAR，这是一套四阶段诊断框架，用于追踪与疼痛相关的信息如何从语音信号传递到模型预测，并将其应用于七个闭源和开放权重的 LALMs。在 Harvard 句子上，由于疼痛只能从声音中推断，所有模型的表现都处于随机水平；同一说话人的参考语音或少样本示例至多只能将平衡准确率提高6个百分点。在口述疼痛评分上，相同模型的平衡准确率则达到87.5%–99.7%。对开放权重 LALMs 进行逐层探测表明，可以从早期音频表示中解码疼痛信息（二分类预测的平衡准确率为74.1%，三分类严重程度预测为45.0%），但这些信息以及大多数与疼痛相关的声学线索会在更深层逐渐减少。在声学感知测试中，较弱的模型甚至无法区分这些线索的显著变化，而较强的模型虽然能够区分，却仍无法据此推断疼痛。最后，我们提取与疼痛相关的声学线索，并将其以结构化文本的形式直接重新注入提示词，使成对疼痛预测的准确率最高提升32个百分点。这些结果表明，当前的 LALMs 会在早期层中编码副语言信息，但在生成答案时，这些信息大多无法被利用。