Paradee：将 Kokoro-82M 蒸馏为一个 8M 参数的单音色文本转语音模型

我们将 Kokoro-82M——一个广泛使用、拥有 54 种音色的开放文本转语音模型——蒸馏为 Paradee，一个能够使用其中一种音色说话的 8.07M 参数模型。Paradee 保留了 Kokoro 的架构，但将各层大幅缩窄，并分别针对冻结的教师模型训练其两个部分。它的参数量减少了 10 倍，所需计算量降低了 15 倍。我们首先使用教师模型合成语料库，并保留其时长、音高、能量和音素特征。随后，我们训练一个小型文本侧网络来预测这些数值，并训练一个小型解码器，将教师模型保存的数值转换为教师模型的音频：先使用频谱损失训练，再进行对抗训练。最后，我们连接这两个部分，并将权重量化为 int8。它无需学习对齐，也无需联合训练，并且可以在一台笔记本电脑上运行。以 int8 存储时，Paradee 的大小为 8.5 MB，在单个 CPU 线程上运行速度达到实时的 25 倍；其 UTMOS 得分为 4.41，而教师模型为 4.52。学生模型起初保留了轻微的嗡嗡声，我们追溯发现其来源是 2 至 8 kHz 范围内有声语音的相位。在合成后应用相位锁定滤波器可以消除其中大部分噪声，且无需训练或增加额外参数。代码、模型文件和音频样本位于 https://github.com/sahilmahendrakar/paradee