基于人类听众强化学习的对话式语音美学模型

arXiv:2610.10868v1 公告类型：cross 摘要：我们介绍了 Conversational Voice Aesthetic Model，这是一种语音大语言模型，用于描述自然对话场景中真实或合成语音回复的语音美学特征。给定上下文和回复语音，CVAM 会描述刻画声音特征的显著片段，并预测涵盖性别、音高、语速、情绪和表达方式的九项分类属性。其关键挑战在于情绪和表达方式等感知领域，这些领域本质上具有主观性，且缺乏明确的真实标签。因此，我们从 CANDOR 语料库中获取了 3,000 条真实和合成语音回复，并为每条回复收集了约 10 条人工标注。CVAM 首先基于合成的美学描述和标签进行监督微调，随后利用 Group Relative Policy Optimization 根据人类判断进行优化。实验表明，与 Gemini 3.1 Pro 和开源语音大语言模型相比，CVAM 与人类听众的判断更加一致，并且优于单个人类与其他所有人的一致性。总之，我们证明了以人类感知为基础来定义语音美学的重要性，并提出了一个系统的人类对齐框架。