关系合成：用于拟音与检索增强音频生成的结构介导拼接合成
Relational Synthesis: Structure-Mediated Concatenative Synthesis for Foley and Retrieval-Augmented Audio Generation
精选理由
关系合成重组源音频，兼顾结构迁移、声学保真与低复制，提升Foley及检索增强生成质量
AI 摘要
我们提出这样一个问题：给定检索到的源音频 $S$ 和一个独立的参考音频 $R$，我们能否基于这对音频 $(S,R)$ 合成出新颖的音频 $Y$，使 $Y$ 在声学上与 $S$ 保持一致，同时又不持续复制 $S$ 或 $R$ 中的片段？第一个目标是拟音制作中的一个众所周知的目标，第二个目标则是当 $S$ 和 $R$ 被直接注入神经生成器时，神经 RAG 中一个众所周知的问题。我们表明，使用一种称为关系合成的方法，可以同时解决这两个问题。关系合成是拼接合成的一种变体，其中目标代价被一种类似 Gromov 的关系结构代价所取代。关系合成并不模仿 $R$ 的内容，而是从“山的另一侧”利用它：将 $R$ 的时间结构和有向振幅变化迁移过来，以新颖的方式重组并拼接 $S$ 的音粒，从而保护 $S$ 的声学信息。实验表明，关系合成能够自然地与神经 RAG 集成，并生成在时间一致性、声学保真度和泄漏持续性等指标上表现良好的拟音，同时保持分布层面的质量和文本对齐。