arXiv cs.LG精选85

EEG 基础模型的受控评估:随机初始化、频带功率与基于验证集选择的探针

Controlled Evaluation of EEG Foundation Models: Random Initialisation, Band-Power and Validation-Selected Probes

· 1小时前

精选理由

揭示 EEG 基础模型收益可能被评估偏差夸大,提供可复现的严格验证规范。

AI 摘要

arXiv:2610.32067v1 公告类型:new 摘要:EEG 基础模型据称能够提升下游任务表现,但其评估方案很少包含以下三种控制:使用同一未训练的编码器、在相同数据上拟合的频谱特征,以及不参考测试分数而选定的层。因此,我们在统一协议下评估了五个公开发布的 EEG 基础模型和一个内部开发的 JEPA-style 模型;该协议包含这三种控制和多个随机种子,覆盖五个基准以及新增的四类任务。这些控制从三个方面改变了结果解读。第一,根据测试分数选择探测层,会使逐层峰值平均提高 +0.034,并在 36 个单元中的 9 个单元中逆转峰值与输出之间的差距。第二,在基于验证集选择层的情况下,对于睡眠和情绪任务,有一半模型的随机初始化表现与预训练相当或更好;在情绪或运动想象任务上,没有任何模型超过五频带对数功率基线。第三,在进行完全微调后,30 个配对中只有 5 个的增益超过其随机种子波动范围的两倍,而唯一明显的损失(-0.290 AUROC)在学习率匹配后仍然存在。基于这些结果,我们提出四项报告实践,并发布每个实验单元的结果以供重新分析。

查看原文(arXiv cs.LG)