通过对抗训练实现连续 SPL 控制的语音强度转换
Vocal Intensity Conversion with Continuous SPL Control via Adversarial Training
精选理由
实现无需平行数据的连续声压级变声,兼顾语义与说话人身份保持。
AI 摘要
arXiv:2610.13608v1 公告类型:cross 摘要:语音强度转换是在保留语音内容和说话人身份的同时,以不同的语音强度重新生成录制的语句,而不是简单地缩放其振幅。现有系统通过参考语句或少量离散类别来控制强度。与之不同,我们在连续的 dB 刻度上,使用任意目标声压级(SPL)控制转换。我们训练了一个无需并行数据的条件循环一致 GAN 轻量级转换器,用于转换冻结语音编码器提取的特征,再由预训练声码器重新合成语音。我们比较了三种表示形式:对数梅尔频谱图、WavLM 和 SpeechTokenizer,并提出一种客观评估方案,在经过校准的语料库上测量实际实现的强度变化与目标强度变化之间的差异。使用 WavLM 时,转换器实现了目标强度变化的 83%,并且还会改变基频。感知评估证实,在振幅归一化的刺激材料上,感知到的语音强度会随目标声压级的提高而增加。