WorldSonus：为世界带来声音

近年来，世界模型取得的进展推动了越来越逼真的视觉合成。然而，这些生成的环境在很大程度上仍然是无声的。为世界模型带来声音面临三项核心挑战：实时生成，以跟上交互式视频流；交互式控制，以响应视频流中途的声音指令；以及空间对齐的立体声，以反映场景几何结构和摄像机运动。为应对这些需求，我们提出了 WorldSonus，这是一种专为世界模型中的实时空间声音合成设计的交互式视频到音频框架。在实时生成方面，WorldSonus 采用流式因果自回归扩散架构，以 0.41 的低实时因子（RTF）合成音频片段。在交互式控制方面，我们引入了以音频为中心的字幕生成流程，并结合按片段索引的提示调度机制，使声音事件能够在生成过程中动态操控。在空间对齐方面，我们利用从多样化立体声和全景声数据中整理出的高质量立体声监督信号。大量实验表明，尽管 WorldSonus 专为世界模型设计，但它能够有效泛化到开放领域的视频到音频基准测试，在声学质量和空间对齐方面均达到或超越当前最先进的双向模型。项目主页：https://noizai.github.io/WorldSonus/