LAION-BVD：用于多模态预训练的一个千万小时级开放视频数据集

我们提出 LAION-BVD，这是一个用于多模态学习的大规模开放视频数据集，包含从 CommonCrawl 收集的 13 亿个特定平台视频 URL。基于这些 URL，我们下载了 8000 万个视频，总时长达 1000 万小时。该数据集旨在支持跨视频、音频和图像模态的多模态预训练。我们利用内容感知的场景检测提取片段，并为这些片段合成生成视频和音频描述。基于这些数据训练的模型在标准视频-文本和音频-文本基准上取得了具有竞争力的性能，并且随着训练规模或模型规模的增加，性能持续提升。此外，我们还探索将视频帧作为图像-文本数据的替代来源，通过提取场景变化帧来实现。与标准网页图像语料库相比，这些帧呈现出不同的视觉分布，而在该数据集上训练的模型在图像-文本检索任务上取得了很强的性能。我们向研究社区发布 LAION-BVD。它以前所未有的规模显著扩展了对多模态视频的开放访问。