通过单个零初始化层为文本到音频视频模型添加语音克隆

文本到音频视频（T2AV）生成模型可以根据文本描述生成视频及其配乐，但无法控制输出中由谁的声音说话。我们表明，通过在基础 T2AV 模型的音频主干上添加一个零初始化的线性层，进行相对较短训练计划的微调，并在推理时以一段简短的参考录音作为条件，可以将其转变为语音克隆模型。参考录音通过两种互补信号注入：其扩散潜变量被前置到音频流中，同时全局说话人嵌入对目标音频的 token 进行调制。在一个包含 30 位说话人、674 个说话人-文本配对的基准上，我们与五个强大的语音克隆文本到语音基线进行比较：我们增强后的 5B 模型在三个独立验证网络（ECAPA-TDNN、WavLM-SV、Resemblyzer）上的说话人编码器余弦相似度（SECS）最高，并且在统计显著意义上优于所有基线。该架构的一个副产物是，推理时可以在不运行视频路径的情况下评估音频路径，相比完整的音频视频扩散循环实现约 30 倍加速，同时保留语音克隆行为。