GS-Codec：用于神经音频编码的 Gaussian Splatting 瓶颈

神经音频编解码器将波形压缩为紧凑的离散 token，为语音语言模型、实时通信和大规模音频存储提供基础。几乎所有主流设计，包括残差向量量化、有限标量量化和单码本变体，都遵循 VQ-VAE 模板，通过学习得到的码本或固定的标量网格对编码器隐变量进行划分。我们探讨这种划分是否是必要的。我们提出 GS-Codec——一种神经语音编解码器，其瓶颈并非量化器，而是参数化信号分解。我们将 Gaussian splatting 从三维场景重建改用于一维隐变量。内层优化循环会将编码器的每个片段拟合为一组一维 Gaussian 基元的加权和。随后，解码器根据渲染得到的总和重建波形。为避免推理时执行这一迭代内层循环的成本，我们还训练了轻量级的 GS Predictor Net，通过单次前向传播回归这些基元的参数。编码器和解码器通过内层循环进行端到端训练，整个训练流程中完全不使用量化器：瓶颈就是分解本身，而标量量化仅在训练完成后应用于拟合得到的参数。我们的表示不依赖离散码本阶段来控制比特率，而是提供了细粒度的码率—质量权衡：单个训练好的检查点即可通过改变基元数量和每个参数的位深，在训练后控制比特率，无需重新训练。在相近比特率下，GS-Codec 在说话人相似度（SIM）、可懂度（STOI）和感知质量（UTMOS）方面达到或超过 EnCodec 和 DAC 等成熟的开源编解码器，同时实现了相当的语义性能（WER）。代码和音频样例见 https://ronaluf.github.io/gs-codec/