X-AVDD：交叉注意力音频-视觉数据集蒸馏

arXiv:2610.13687v1 公告类型：cross 摘要：音频-视觉数据集蒸馏旨在从大型配对音频-视觉数据集中合成一个小型数据集，同时几乎保留其对神经网络的训练效用。现有方法（如 DM 和 AVDD）面临两个关键局限：1）它们的内存消耗很大，难以扩展到复杂架构和更高的每类样本数（SPC）设置；2）它们通常无法保留较强的跨模态语义对应关系。为解决这些问题，我们提出 X-AVDD，一种基于交叉注意力的蒸馏方法，可在合成过程中显式捕获模态间关系。通过将跨模态对齐与联合优化解耦，X-AVDD 显著提高了内存效率，使端到端合成成本降低约 $8\times$ GPU 小时，同时生成高度对齐的合成数据。实验结果表明，X-AVDD 的性能显著优于其他音频-视觉蒸馏方法。在 VGGSound（一个由 YouTube 短视频片段构成的音频-视觉数据集）上，当 SPC=$10$ 时，X-AVDD 将 top-1 测试准确率从 $8.2\%\rightarrow24.0\%$ 提升至 $24.0\%$；当 SPC=$20$ 时，则从 $9.8\%\rightarrow26.5\%$ 提升至 $26.5\%$。此外，X-AVDD 提升了跨架构泛化能力（例如，在 AVE 数据集上、SPC $=50$ 时，针对 ViT 目标模型的准确率从 $25.5\%\rightarrow35.3\%$），并成功扩展至 AudioCLIP 等复杂架构：仅使用完整数据集的 $5.65\%$，便达到了 $62.3\%$ 的准确率，而完整数据集的准确率为 $72.4\%；与使用完整数据集相比，训练时间缩短了 $9\times$。