语言引导的用于零样本和多任务脑信号分析的多模态基础模型

脑信号分析对于神经科学研究和临床诊断都至关重要，但当前方法面临着诸多关键限制。端到端模型需要针对具体任务重新训练，且泛化能力有限；预训练模型则缺乏语义深度，仍然依赖大量微调。与此同时，通用多模态基础模型虽然在其他领域表现强大，但由于表征不匹配以及缺乏领域知识，难以解读脑信号。本研究通过统一的语言—信号对齐框架，提出了一种用于零样本和多任务脑信号分析的多模态基础模型（METIS）。METIS在迄今规模最大、种类最丰富的脑信号语料库上进行预训练，该语料库包含来自20个数据集、超过11,000名受试者的70,000多个小时的记录。在涵盖12个数据集的综合零样本评估中，METIS的平均准确率比领先的通用模型高出20.9%以上。值得注意的是，在完全不进行微调的情况下，METIS的性能达到或超过了有监督的任务专用模型。此外，METIS还展现出卓越的数据效率和强大的泛化能力：在少样本设置下，其平均AUROC优势超过16.0%；在跨数据集迁移任务中，优势达到15.9%。这项工作为通用脑信号分析确立了新范式，为下一代神经技术的发展铺平了道路。