arXiv cs.LG精选82

EEGDash Corpus:面向 EEG 基础模型、可直接用于训练的公共语料库

EEGDash Corpus: A Training-Ready Public Corpus for EEG Foundation Models

· 1小时前

精选理由

汇集77个公开EEG数据集并统一格式与许可信息,为脑电基础模型的可复现预训练提供现成数据底座。

AI 摘要

arXiv:2611.06356v1 公告类型:新论文 摘要:脑电图(EEG)基础模型使用数万小时的记录进行预训练,其准确性随数据量的增加而提升。然而,这类数据难以汇集。最大的数据来源是无法再分发的临床档案,而公开数据则分散在多个档案库中,采用不同的文件格式和许可证。我们发布了 eegdash-corpus-v0,这是一个包含 77 个公开 EEG 数据集、可直接用于训练的语料库,以需申请访问权限的 Hugging Face 数据集 EEGDash/eegdash-corpus-v0 的形式提供,并附有每个文件的 SHA-256 哈希值。已发表的最大 EEG 基础模型 REVE 列出了 89 个数据集作为其预训练语料库。其中 12 个无法再分发:4 个临床档案库占其总记录时长的 82%,另有 8 个采用禁止演绎的许可证。本语料库收录了其余数据集中符合 REVE 采样率要求的 76 个数据集,以及 REVE 发布说明卡中列出的另一个数据集:共 77 个数据集,来自 7,272 名受试者,总计 14,075 小时,每个训练轮次包含 500 万个 10 秒样本和 62.1 亿个词元。每个数据集均通过 EEGDash 获取,按照 REVE 的处理流程进行一次转换,并存放在分块 Zarr 存储中各自独立的存储桶内,同时在旁记录其许可证,因此模型既可以使用整个存储进行训练,也可以使用任意数据集子集。为验证该存储能否用于模型预训练,我们使用作者的代码,仅修改数据读取方式,从头重新训练了两次 REVE-Base,并在七项公开的 OpenEEGBench 任务上进行评分。其线性探测得分为 0.331,微调后得分为 0.273;相比之下,已发布模型的对应得分为 0.333 和 0.325,未经训练的编码器则为 0.200 和 0.205。转换工具、转换报告及数据加载器的修改均随语料库一同发布。

查看原文(arXiv cs.LG)