开口之前先倾听：基于听者面部反应的对话语音生成响应规划
Listen Before You Speak: Response Planning from Listener Facial Reactions for Conversational Speech Generation
精选理由
将听众面部反应融入语音规划，提升对话情绪与韵律的情境适配性
AI 摘要
对话语音取决于对话上下文以及听者紧接着的行为。我们提出 ReACT-TTS，一种两阶段框架，利用响应前一秒的听者面部序列，在语音实现之前规划下一段话语的情感与韵律。在严格的双人 MELD 实验协议下，在十个随机种子上，Temporal conditioning 的平均宏 F1 值和 VAD 一致性均高于 Text-only，而准确率基本保持不变。消融实验表明，在各种视觉变体中，时序建模表现最佳，且显式的前期到后期差分并无必要；平均而言，正确的听者反应也优于循环错配反应。在一项由 20 名语音研究人员参与的语境恰当性研究中，76% 的判断偏好 Temporal，9% 偏好 Text-only，另有 15% 表示没有偏好。我们进一步将预测的响应风格与 Grad-TTS 骨干网络连接起来，以实现端到端语音生成。总体而言，结果表明，响应前的听者动态可以作为对话响应规划的补充线索。源代码可在 https://github.com/CYJ1/ReACT-TTS_public 获取。