arXiv cs.LG精选78

NEUROTOKEN:通过条件流匹配进行联合源与方向AAD及包络解码

NEUROTOKEN: Joint Source and Directional AAD with Envelope Decoding via Conditional Flow Matching

· 11天前

精选理由

提出统一脑电听觉注意解码框架,提升短窗声源识别并揭示严格评测下的性能上限。

AI 摘要

arXiv:2610.00397v1 公告类型:新 摘要:在嘈杂房间中识别听者正在关注哪个说话人——即鸡尾酒会问题——是下一代助听器和脑机接口所缺少的关键环节:它能告诉设备应该放大谁的声音。听觉注意解码(AAD)通过EEG读取这一答案,但现有研究彼此割裂:方向性AAD能够判断声源所在侧方,却无法将侧方映射到具体语音流;基于回归的源AAD通过单一Pearson相关系数对候选语音流进行排序,而在实际设备所需的1–5秒时间窗口内,该指标本质上噪声很大;包络重建则没有原生的AAD判定规则。我们认为,正确的研究对象不应是任何单一统计量,而应是给定EEG条件下的受关注包络的条件似然。基于此,我们提出NEUROTOKEN:一个由三个任务头组成的单一网络,共享同一个EEG前端,其中条件流匹配任务头(ATTUNEFLOW)通过积分速度残差似然比对候选对象进行评分。两个推理时集成方法——QUADTRACK(四种互补统计量)和ENV-FLOW(经过z标准化的QUADTRACK+ATTUNEFLOW)——无需额外代价即可吸收各统计量的失效模式。在5秒窗口下,针对KU Leuven、DTU和NJU数据集,ATTUNEFLOW使逐片段源AAD性能较最强的非生成基线提升9%–16%,并将跨受试者方差缩小约3倍;在三个数据集中的两个上,试次级融合准确率超过93%。在平行复现实验中,我们还表明,在严格的试次互斥协议下,经典的95%–97%方向性AAD结果会下降17%–45%,从而厘清真实性能上限,也说明了为何需要基于似然的表述。

查看原文(arXiv cs.LG)