Bearings：来自一阶 Ambisonics 的自监督声场嵌入

近期提出的自监督音频编码器能够学习强大的通用声景表示，但它们缺乏空间感知能力。为补充声景中缺失的空间表示，我们引入 Bearings。Bearings 是一个自监督框架，可从未标注的一阶 Ambisonics 中学习声场嵌入。我们预训练了一个掩码自编码器，并搭配一个解码器，该解码器以来自现成单通道音频编码器的冻结声学嵌入为条件。我们的结果表明，所得声场嵌入形成了一条可复用的流，可通过轻量级可训练融合头连接到冻结的声学编码器。在声音事件定位与检测任务中，将我们的声场嵌入与声学表示拼接，可以提供缺失的空间信息并实现联合检测与定位，使位置相关的 F 分数在 TAU-NIGENS 2021 上从低于 4 提升到 50，在 STARSS23 上提升到 39。据我们所知，Bearings 是首个其嵌入可接入冻结声学编码器且无需重新训练任一模型的自监督声场编码器。