多模态 LLM 可以学会读取脑信号：用于统一多任务 EEG 解码的视觉-语言模型

arXiv:2610.09355v1 公告类型：新 摘要：学习能够跨越认知任务、受试者和记录条件进行泛化的 EEG 表征，仍然是脑电图（EEG）解码面临的关键挑战。近年来，基础模型取得的进展提升了 EEG 解码性能，但一个根本性的开放问题仍然存在：如何有效地将神经信号接入这些模型，从而实现跨数据集的多任务学习。为研究这一问题，我们提出了 BraVista，这是一种视觉-语言框架，可将多通道 EEG 信号编码为结构化图像，并通过由指令调控的视觉-语言模型（VLMs）实现多任务学习。我们的方法依赖于对通用领域 VLM 进行持续后训练，利用其视觉和语言先验，使其适应神经信号，而无需单独进行大规模 EEG 专项预训练。我们在涵盖睡眠分期、情绪识别、认知负荷分类和异常 EEG 检测的四个数据集上评估了 BraVista，结果表明其在这些任务上均取得了强劲表现。进一步分析表明，EEG 到图像的表示方式对性能至关重要。此外，通过对 EEG 信号施加受控扰动，我们观察到随着噪声增加，模型性能逐渐下降，这表明模型依赖的是与 EEG 相关的信息，而非表面的视觉模式。总体而言，这些发现表明，结构化视觉表示可以作为神经信号与通用领域基础模型之间一种有效且可扩展的接口，用于统一多任务 EEG 解码。