SCRIBE:可扩展的、基于大脑的可解释语义上下文表征
SCRIBE: Scalable Contextual Representations of Interpretable Brain-Grounded Semantics
精选理由
SCRIBE以可解释的词级语义表征捕捉语境变化,提升对自然语言理解与脑活动关联的研究能力。
AI 摘要
理解人脑如何从现实世界的语言中构建意义,仍是一项根本性挑战,因为语义依赖于在自然情境中不断变化的上下文。为支持对大脑中现实世界语言意义的研究,我们提出了 SCRIBE。该框架以神经科学指导下构建的语义空间为基础,利用多个开源大语言模型的集成,为任意文本生成可解释的词级语义表征。在一项涉及 921 名参与者的行为研究中,我们发现,人类对语义特征的判断会随上下文发生系统性变化,而 SCRIBE 能够捕捉这些变化,其表现达到估计的人类噪声上限的 75%–81%。利用参与者聆听自然故事时记录的大脑活动,我们进一步证明,SCRIBE 能够预测语言选择性脑区的神经反应,且表现显著优于不考虑上下文的语义表征。方差分解表明,除句法特征外,SCRIBE 还能解释独有的、可预测大脑活动的信息,这说明其表征捕捉到了所测量的句法特征无法解释的语言意义层面。总体而言,这些发现确立了 SCRIBE 作为研究大脑中自然语言语义的可扩展、可解释基础的价值。