信任还是不信任：语音中的检索增强事实核查

在线错误信息越来越多地以新闻片段、播客、访谈、政治演讲和社交媒体视频等语音形式出现，因此亟需能够直接从语音中核实陈述的事实核查系统。我们推出了 VeriSpeak，这是一个用于研究 Large Audio Language Models (LALMs) 语音事实验证能力的探测基准。VeriSpeak 包含 3,879 条涉及时间、地理位置和关系事实的口头陈述，并对真假标签进行了均衡处理。该基准旨在考察事实验证能力能否从文本迁移到语音，以及检索增强的 LALMs 能否利用文本证据正确支持或反驳口头陈述。我们的实验揭示了持续存在的文本—语音模态差距：能够可靠验证书面陈述的 LALMs，在面对相同但以语音形式呈现的陈述时往往会失败。此外，仅使用检索带来的增益有限，因为模型经常将检索到的证据与口头陈述混为一谈。相比之下，将检索与显式推理相结合能够改善陈述与证据之间的比较效果，其中一个经过思维调优的 LALM 达到了 86.1% 的准确率。VeriSpeak 表明，有效的语音错误信息检测不仅需要语音理解能力，还需要基于检索证据的有据推理。该数据集已通过 Hugging Face 公开发布，网址为 https://huggingface.co/datasets/abhiram4572/VeriSpeak】【。