MeanVoiceFlow2：Mean Flow 与内容编码器的联合优化，实现快速单步零样本语音转换
MeanVoiceFlow2: Joint Optimization of Mean Flow and Content Encoder for Fast One-Step Zero-Shot Voice Conversion
精选理由
实现约9倍加速的零样本语音转换，并保持音色相似度与更高自然度。
AI 摘要
流匹配语音转换（VC）方法凭借出色的语音质量和较强的说话人相似度而受到关注。其中，MeanVoiceFlow 等单步模型尤其具有吸引力，因为它们能够实现高效推理；然而，这些模型依赖计算开销较大的内容编码器，成为性能瓶颈。为此，我们提出 MeanVoiceFlow2，这是一种联合优化基于流的转换模块和高效内容编码器的框架。该模型通过使用 MeanVoiceFlow 进行转换蒸馏，并结合真实数据重建进行训练。我们进一步引入结合样本混合的扩散-GAN训练，以及教师引导的条件增强，以提升真实感和解耦性。在零样本 VC 实验中，MeanVoiceFlow2 在保持相当说话人相似度的同时，取得了更高的感知质量，并实现了约 $9\times$ 的推理加速，相较于 MeanVoiceFlow 更快。音频样例可访问 https://www.kecl.ntt.co.jp/people/kaneko.takuhiro/projects/meanvoiceflow2/。