SE-MSB:使用 Mamba Schrödinger Bridges 的端到端无配对语音增强
SE-MSB: End-to-End Unpaired Speech Enhancement using Mamba Schrödinger Bridges
精选理由
介绍一种无需配对数据的高效语音增强方法,兼顾真实场景泛化与快速推理。
AI 摘要
语音增强(SE)模型通常依赖有监督学习,使用成对数据样本,其中干净语音经过人为合成降质处理。这种范式限制了模型在真实场景中的性能,因为目标环境的具体声学特征往往未知。我们提出了一种完全无配对的 SE 框架,利用具有严谨理论基础的 Diffusion Schrödinger Bridges(DSB),学习干净语音分布与降质语音分布之间的随机传输过程。用于学习传输映射的算法计算开销很大,因为它们需要在训练期间模拟微分方程,通常还要在每个训练步骤中进行模拟。因此,我们提出使用一种为端到端波形处理而设计的高效 Mamba Diffusion Model。我们将该方法与语音增强领域最先进的有配对和无配对方法,以及一种经典信号处理算法进行了比较。实验结果表明,我们的方法与基线相当或更优,同时在推理阶段的速度提升了数个数量级。此外,我们还表明,DSB 公式的灵活性使我们的模型能够跨语音增强任务进行泛化,为现实世界中的语音修复提供了一种稳健且高效的解决方案。