MTVA-Bench：评估级联语音代理中的语言模型

通常，大多数语音代理都是级联系统：ASR 模型将来电者的音频转写为文本，语言模型读取转写文本，决定要说什么以及调用哪些后端工具，TTS 模型则将回复转换为语音。几乎所有决策都由语言模型完成，但现有评测要么过于宽泛，要么过于狭窄。端到端语音基准会对完整流程进行评分，因此识别错误和模型错误会混合成一个分数。LLM 基准能够隔离模型，但无法评估真实电话通话中的困难因素，例如转写问题、来电者的语音被拆分到多条消息中，以及回复必须遵循指定语言和话术脚本的要求。我们提出了 Multi-Turn Voice Agent Benchmark（MTVA-Bench），在级联系统实际面临的相同条件下评估语言模型。来电者由遵循一组评分标准的 LLM 模拟，工具调用则由一个模拟后端应答，该后端会根据模型实际发送的参数作出响应。该基准包含 49 个代理，覆盖 490 个经过审核的场景，并支持 7 种语言。评分由工具调用的确定性检查和两名 LLM 评审共同构成：一名评审针对特定场景的规则进行评分，另一名评审在无法获知任务内容的情况下评估对话质量。两名评审都必须引用对话转录中的具体消息。任务得分和对话得分的权重相同，因为一次通话可能完成任务，却仍让来电者感受很差。在一项包含七个模型的研究中，其中六个模型选择正确工具时的得分彼此相差不超过 6.4 分，但它们的总体得分跨度达到 24.4 分。大部分差距来自参数值、操作顺序、规则遵循情况，以及模型在工具调用前后所说的内容。