TTS-Q：感知引导的文本转语音扩散 Transformer 训练后量化

arXiv:2610.12474v1 公告类型：交叉收录 摘要：零样本文本转语音（TTS）可以仅凭几秒钟的音频克隆声音。然而，这种高质量表现依赖于拥有数十亿参数的扩散 Transformer，其模型规模和多步采样使最需要它们的端侧、辅助技术和实时应用难以采用。训练后量化（PTQ）无需重新训练即可压缩此类模型，但现有方法主要面向语言和视觉，而非语音。在 4 比特精度下，即使是性能强劲的量化器，也只能让语音可懂度接近全精度水平，却会持续损害说话人的音色，因此错误率仍然较低，声音却偏离了目标说话人。我们探究量化为何损害语音、损害发生在哪里，以及能否在不重新训练的情况下修复这些损害。为此，我们首次针对 10 亿和 35 亿参数规模的 TTS 扩散 Transformer 开展了权重与激活均为 4 比特（W4A4）的 PTQ 研究。音色损失来自权重量化和激活量化两方面，但只有激活量化部分具有可供精度调度利用的时间步结构。因此，我们提出 TTS-Q，从与任务匹配的校准候选项中选择难以量化的项，并采用预算平衡的混合精度调度，为后期时间步的前馈激活分配更高精度。TTS-Q 在两种模型规模上均实现了最佳的音色恢复效果，且不牺牲语音可懂度。此外，部署后的经校准 W4A4 参考方案降低了 GPU 峰值内存占用，为资源受限条件下的 TTS 部署提供了实用参考。