音乐音频生成模型教程

音乐音频生成涵盖器乐片段、带人声的完整歌曲、对现有录音的编辑，以及能够与音乐家实时合奏的系统。本专著面向熟悉神经网络训练但刚接触音乐生成的读者，讲解这些系统背后的方法。全书在统一的符号体系下介绍神经音频编解码器与自编码器、自回归模型与掩码 Token 模型、扩散与流匹配、采样加速，以及偏好优化。实例将训练目标和采样流程与已发表的系统联系起来。应用部分将器乐生成、歌曲、编辑和现场表演的音乐需求与模型设计联系起来。比较表记录论文和官方来源中所载的表示方式、方法、输入、任务及发布信息。在与音乐音频相关的部分，还涵盖符号化作曲、语音和音效。我们解释如何解读自动指标和学习型评判器，如何设计和报告聆听测试，以及如何评估有关数据来源、记忆、归因和输出检测的证据。选取的法律判决和争议展示了这些问题对训练和发布的影响。所评述的系统将成熟的生成范式与新的表示方式、规划阶段及后训练流程相结合。数据、规模和评估方面的差异限制了跨系统比较对于所报告增益来源能够得出的结论。