语义瓶颈：利用语义表示进行非侵入式语音解码

arXiv:2609.10296v2 公告类型：replace-cross 摘要：非侵入式语音解码仍受到神经信号记录低信噪比的限制，这使得对音素或单个词语进行细粒度重建十分困难。受神经科学证据启发——高级语义表示分布于多个皮层区域，并以较慢的时间尺度演化——我们提出假设：与低级声学特征或词汇特征相比，语义内容可能是更适合非侵入式解码的目标。我们提出 Brain2Semantics2Text，一种通过中间语义嵌入空间重建文本的方法。该模型将句子级 MEG 响应映射到语义流形中，然后将预测的嵌入反演为自然语言。这一语义瓶颈无需词级对齐，即可实现对高级语义的恢复。我们介绍了该方法的核心原理、实现方式，以及用于缓解学习可靠神经信号到语义映射过程中各种挑战的策略。最后，我们将其与此前的非侵入式 Brain2Text 方法进行比较，并展示了更优的句子级结果。