EquiSELD:等变声事件定位与检测网络的高效训练
EquiSELD: Efficient training of equivariant sound event localization and detection networks
精选理由
帮助读者了解高效鲁棒的空间音频定位新方法
AI 摘要
一阶 Ambisonics(FOA)信号表现出精确的 O(3) 对称性:FOA 信号的旋转或反射会改变声源的到达方向,同时保持声源本身不变。以往利用 FOA 的这种空间对称性来提高声事件检测与定位(SELD)系统效率和鲁棒性的尝试,要么仅通过基于旋转的数据增强学习到对称性的近似,要么依赖计算成本高昂的方法来整合等变性。此外,先前工作仅关注 SO(3) 等变性,使得将 O(3) 等变性纳入 SELD 任务的潜力仍不明确。为了解决这些局限,我们开发了 EquiSELD。该等变注意力网络将一阶 Ambisonics 作为成对的 O(3) 不变标量流和等变强度向量流进行处理,并通过 Multi-ACCDOA 读出生成不变的活动幅度和等变的 DOA。为比较 O(3) 与 SO(3) 等变性的影响,我们设计了一个匹配的仅 SO(3) 变体。EquiSELD 在使用实测 RIR 的模拟场景和真实世界声场景录音上均优于以往的等变网络,且训练成本仅为其一小部分。此外,在模拟真实世界声场景中,EquiSELD 超越了规模相近的非等变 SELD 网络的性能,并在真实世界声场景上取得了具有竞争力的性能。