MP-Bench：将语音智能体作为多方对话参与者进行评估

对话式语音智能体已取得显著进展，通过级联式和端到端架构提供日益自然的人机交互。然而，尽管近期基准广泛评估了双人互动和被动音频理解，它们在很大程度上忽视了一个常见的现实场景：多方对话。由于对话复杂度呈指数级增加，在这些场景中评估智能体从根本上比双人互动更具挑战性。要让语音智能体无缝融入人类群体动态，它们不仅必须生成符合语境的回应，还必须展现出对开放式轮次转换的细致理解。为弥补这一空白，我们引入 Multiparty Bench（MP-Bench），这是首个专门用于客观评估对话式语音系统作为多方语境中主动参与者的基准。MP-Bench 从两个主要维度评估智能体行为：轮次转换意识和回应恰当性。此外，我们还纳入基于理解的问答任务作为补充评估。通过对 12 个语音智能体进行基准测试，我们发现实时语音智能体在多方理解上的表现不超过 22%，并且在多方轮次转换上仍接近随机水平，这暴露了实时语音智能体在多方场景下面临的开放挑战。