相互耦合但滞后:非脚本对话中全双工语音模型之间的轮流发言
Coupled but Late: Turn-Taking Between Full-Duplex Speech Models in Unscripted Dialogue
精选理由
揭示全双工语音模型接棒显著滞后,助力优化多智能体实时交互。
AI 摘要
全双工语音模型经过训练,可以与人交谈,但如今也越来越多地被用于彼此交谈,包括生成自博弈数据、构建智能体社会以及进行基于模型的评估。在这一循环中,没有人类来吸收时序误差:每个模型的轮流发言时序,都是另一个模型的输入。我们探究这一循环最终会形成怎样的时序。两个 PersonaPlex-7B 实例在共享时钟上交换音频 token,进行非脚本对话,并将同一套话轮转换规则应用于它们和 Switchboard。它们的时序是耦合的:将不同对话中的说话者重新配对会破坏这种耦合。然而,它们的话轮交接发生得较晚:中位数为 400–560 毫秒,而人类为 137 毫秒;在人类的预测机制会完成十分之一话轮交接的对方话轮最后 120 毫秒内,模型仅有 1% 的话轮交接发生。延迟通道的一个方向会使响应以一比一的幅度推迟,并使响应前的铺垫阶段变为空白;这与一种在感知到对方结束后进行被动等待的机制相符,而不是人类时序所需的对话轮结束预测。