Sonic-AMG：基于空间音频的流式人体动作生成

arXiv:2610.13300v1 公告类型：cross 摘要：对空间音频引发的人体反应进行建模，需要同时理解听到的内容及其来源方向。以往工作基于完整的声学与空间输入序列离线生成人体动作。然而，人类在对声音做出反应时，并不知道接下来会听到什么。我们提出 Sonic-AMG，据我们所知，这是首个基于空间音频进行流式人体动作生成的框架。该模型将声学内容和相对于身体的声源几何信息编码为独立的标记。以这些标记为条件，带有流模型头的因果 Transformer 生成连续的动作潜变量，随后由因果解码器重建动作片段。标准的教师强制训练从真实动作中获取动作历史和相对于身体的声源位置，而流式推理则依赖生成的动作来获取二者，从而导致训练与推理之间的不匹配。为减小这种历史信息差异，我们引入了 rehearsal training，将完整序列的教师强制监督与短程自回归自主滚动过程中的监督预测相结合。为使空间条件与生成的动作保持一致，我们提出了 spatial feedback，在 rehearsal training 和推理过程中，均根据生成的根部姿态重新计算相对于身体的声源位置。在 SAM 上，Sonic-AMG 取得了当前最佳的 FID 和 R-precision。该方法还支持实时在线生成跨不同声音事件和声源位置的连贯反应。项目页面：https://jingchengni.com/sonic-amg/。