利用时间建模与多模态对齐从 fMRI 解码自然语音
Decoding Naturalistic Speech from fMRI with Temporal Modeling and Multimodal Alignment
精选理由
提出结合时间建模与多模态对齐的fMRI语音解码方法，提升脑信号还原能力。
AI 摘要
arXiv:2610.22049v1 公告类型：新 摘要：从脑活动中重建一个人所感知的内容，是检验神经记录是否携带有意义信息的严格方法。自然语音为这一挑战提供了丰富的测试平台：语音在多个时间尺度上展开，但 fMRI 噪声较大且测量结果存在时间模糊，使得这种结构难以恢复。我们提出 NOEMA，一种时间卷积解码器，将连续 fMRI 测量的时间窗口与多模态刺激嵌入对齐。这些嵌入融合了同一刺激片段互补的文本、音频和语音表征，使得能够直接从脑活动中检索该片段。在 Cephalonauts One 和 LeBel 两个自然语音数据集上，对于留出的查询，NOEMA 在 2,000 个候选片段中检索出的正确片段有超过 42% 位于前 10 名之内。其性能显著优于基线解码器；当候选池中加入数千个训练时未出现的干扰片段时，这一优势仍然存在。受控消融实验验证了时间建模和互补刺激表征各自的作用。