arXiv cs.AI精选81

Cephalonauts One:用于解码人脑自然语音的深度 fMRI 数据集

Cephalonauts One: A deep fMRI dataset for decoding naturalistic speech in the human brain

· 11天前

精选理由

提供大规模自然语音脑活动数据与标准化解码基准,助力脑机接口研究。

AI 摘要

Cephalonauts One 是一个全脑 3 Tesla(3T)功能磁共振成像(fMRI)数据集,记录了受试者收听音频播客时的脑活动。三名健康受试者分别进行了多次扫描,每次扫描包括五个 15 分钟的运行阶段,同时收听以其母语播出的播客。每位受试者拥有 30 小时的 fMRI 数据,使得当前版本成为使用自然语音刺激的最深度 fMRI 数据集。该数据集将脑活动与相应的播客音频、转录文本标注及派生的刺激嵌入向量相匹配。此外,我们提出了一个以音频片段检索为形式的脑解码基准:给定来自留出扫描阶段的 fMRI 活动,解码器必须从候选片段中识别出对应的、时间对齐的播客音频片段。我们为该任务提供了标准化的数据划分、评估指标和基线解码器。最后,扩展性分析表明,随着每位受试者训练数据量的增加,解码性能持续提升。

查看原文(arXiv cs.AI)