arXiv cs.LG精选78

SpecBraM:EEG基础模型应预测什么?掩码频带功率预测 versus 波形重建

SpecBraM: What Should an EEG Foundation Model Predict? Masked Band-Power Prediction versus Waveform Reconstruction

· 7天前

精选理由

提出面向睡眠分期的掩码频带功率预测,提升少样本脑电表征学习效果。

AI 摘要

arXiv:2610.07484v1 发布类型:新 摘要:自监督EEG模型通常重建被掩码的波形或预测离散编码。我们研究了一种与任务相匹配的替代方案:掩码频带功率预测(MBP),即针对被掩码的通道-时间片段,预测固定窄频带的对数频谱能量。该目标保留了与睡眠分期相关的节律功率,同时避免了对相位敏感的波形重建以及学习型码本。在三种预训练随机种子下,我们在匹配的骨干网络、预训练数据(2,388小时)和训练步数条件下,对比了频带功率目标与波形目标,其中包括一个2×2的分词器-目标设计。在ISRUC和HMC睡眠分期任务上,在严格的线性探测设置下,MBP相比原始波形重建和频带波形重建,在使用全部标注时使平衡准确率提高1.6–2.8个百分点,在仅使用1%标注时提高4.7–7.3个百分点;目标的影响超过了分词器的影响。其冻结特征取得了0.7916/0.7425的平衡准确率,而匹配的丰富手工设计频谱基线为0.7636/0.7227,不过在仅使用1%标注时,差距约为1个百分点。进行完整微调后,平衡准确率达到0.8107/0.7669。这些提升并未扩展到所有具有频谱线索的任务,包括运动想象、抑郁筛查和警觉性回归。这些结果支持这样一种观点:预训练目标的选择应与下游标签所涉及的物理量以及相关的空间和时间尺度相匹配。

查看原文(arXiv cs.LG)