arXiv cs.AI精选79

固定计算预算下 EEG-FM 的参数高效自监督适配

Parameter-Efficient Self-Supervised Adaptation for EEG-FM under Fixed Computational Budgets

· 49天前

精选理由

告诉读者如何低算力高效适配EEG基础模型

AI 摘要

通过自监督学习预训练的 EEG 基础模型有望获得可迁移表征,但其泛化能力仍然有限,尤其是在不同临床数据集之间。由于计算需求高,在资源受限的临床环境中进行全量微调并不现实。在这项工作中,我们研究参数高效的自监督适配是否足够,即仅更新 9% 的参数能否将表征对齐到目标任务。我们在两个采用不同预训练目标的最先进模型上评估了该方法:BIOT(对比学习)和 CBraMod(掩码重建),并在三个临床 EEG 数据集上进行评估,任务分别为异常检测(TUAB)、事件分类(TUEV)和癫痫发作检测(CHB-MIT),同时考察分布内和分布外两种条件。SSL 适配相较于线性探测带来了稳定提升,AUCPR 最高可达 20 倍。在固定计算预算下,实现峰值性能只需要可用无标注数据的 20--50%。关键的是,当总窗口数固定时,性能与患者数量无关,这表明性能仅依赖于整体时间窗口多样性。我们的研究结果表明,参数高效适配能够以最小的计算开销和数据采集负担,有效部署 EEG Foundation models(EEG-FM)。代码地址:https://github.com/c3n-group/efficient-eeg-adapt

查看原文(arXiv cs.AI)