ZeroMAG：面向即插即用 EEG 基础模型的零样本多模态适配器生成

arXiv:2610.03546v1 公告类型：新 摘要：EEG 基础模型（EFM）能够从大规模 EEG 数据中学习可复用知识，而许多 EEG 记录还包含伴随的生理信号，这些信号可提供超越纯 EEG 接口的互补信息。所面临的挑战是，在通过无标签目标数据推断出的适配过程中，将预训练知识保留下来，同时将 EFM 扩展到异构多模态记录。我们提出 ZeroMAG，一种零样本多模态适配器生成框架，利用无标签目标记录扩展冻结的 EEG 编码器和预测头，无需目标标签或目标侧优化。在 ZeroMAG 流程中，目标数据集完全不参与任何模型训练和模型选择。ZeroMAG 围绕一个配置无关的适配器组织伴随模态，从无标签记录和任务上下文中构建模态—受试者—任务条件，并在从源适配器中学习得到的函数约束潜在空间内生成适配器权重。在六个留出的目标数据集和三个 EFM 骨干模型上，与仅使用 EEG 的推理相比，ZeroMAG 将平衡准确率提升了 7.22 个百分点；与直接权重回归相比，提升了 4.89 个百分点；与有监督多模态适配相比，平均差距仅为 0.50 个百分点。消融实验进一步表明，从表示学习或条件生成中移除函数监督都会导致生成适配器的性能下降，证实了这两个组件各自的贡献。