面向直播语音合成的多维韵律评判
Multi-Dimensional Prosody Judgment For Live Streaming Speech Synthesis
精选理由
提出解耦式韵律评估器,低成本精准助力直播语音合成优化。
AI 摘要
评估直播语音合成(TTS)需要考察情感、语调和能量等细粒度、高表现力的韵律,而传统的 MOS 预测器无法捕捉这些特征。尽管 Gemini 等专有大型语言模型(LLM)能够评估这些方面,但其成本过高,难以用于大规模推理和强化学习反馈。为此,我们首先提出 Live-ProsodyJudge(LPJ),一种从 Gemini 蒸馏至 Qwen3-Omni 的高性价比成对评估器。然而,我们发现标准多维评估中存在一个关键缺陷:判定耦合。评判器往往会懒惰地将所有单项维度的评分与整体偏好保持一致,把丰富的多维评分标准压缩成一个单一的偏好比特。为解决这一问题,我们进一步提出 Decoupled-Live-ProsodyJudge(D-LPJ)。D-LPJ 通过移除整体判定目标来避免盲目跟随;在监督微调(SFT)期间屏蔽不确定的成对维度;并引入一种新颖的局部跨度 GRPO 策略,将归一化优势严格应用于其对应的推理跨度。在高度精心筛选、由人工标注的测试集上,采用 10 个样本并平衡顺序的 LPJ,其点准确率高于单次 Gemini 调用;同时,D-LPJ 成功生成了相互独立、解耦的维度判定。此外,在 Best-of-8 TTS 候选选择竞赛中,LPJ 选出的语句在高置信度案例中有 85.29% 位于人工评选的前 3 名之内,证明了其在细粒度 TTS 偏好优化中的有效性。