ZipCodec：超低帧率流式语音编码

神经音频编解码器是现代语音生成系统的基础组件。尽管近年来的编解码器实现了越来越低的比特率，但降低帧率仍然具有挑战性，因为每个令牌都必须在保持重建质量的同时保留更多信息。我们提出了 ZipCodec，这是一种以 6.25 Hz 和 0.80 kbps 运行、理论延迟为 160 ms 的流式神经语音编解码器。我们的方法结合了大规模 WavLM 蒸馏、重新设计的基于 Transformer 的架构、标量球面量化器以及延迟感知的流式解码器。实验表明，在相当的比特率下，ZipCodec 在重建质量和下游任务方面均显著优于现有流式编解码器，同时运行于显著更低的帧率。尽管拥有 8.42 亿个参数，ZipCodec 仍可在消费级 CPU 上实现实时单流推理。演示样例、代码和检查点见 https://lucadellalib.github.io/zipcodec-web/。