arXiv cs.LG精选78

神经数据需要语义分词:行为事件作为可跨会话迁移令牌的边界

Neural Data Needs Semantic Tokenization: Behavioral Events as Boundaries of Session-Transferable Tokens

· 9天前

精选理由

以行为事件切分群体活动,构建跨会话、跨物种迁移的语义令牌,提升神经解码泛化。

AI 摘要

arXiv:2610.03001v1 公告类型:新 摘要:细胞外电生理记录在每个会话中记录的都是一组不同的神经元。神经基础模型将每个神经元和每个会话嵌入其令牌中,因此每个新会话都是它们从未见过的输入,导致模型无法对其泛化。针对新会话的分词器需要一种所有会话共有且承载行为信息的单元。群体活动提供了这样一种单元。它在一个低维流形上演化;在会话完成对齐后,该流形能够跨越神经元更替以及不同动物而保持稳定。该流形会在刺激开始、运动开始等任务事件处发生状态转换。在每个状态区间内,群体活动都处于一种状态,即它在两个事件之间所覆盖的流形部分,而每种状态都承载着自身的行为含义。我们提出 Tokenization with States(TWS),在这些事件处对每个试次(即任务的一次重复)进行分段,并将每个状态转换为表示群体几何结构的令牌,无需使用神经元或会话嵌入。在保留的 International Brain Laboratory(IBL)会话上,即使仅利用不携带目标信息的状态转换边界,TWS 也能解码运动;而在这些会话上预训练的逐神经元基础模型,其解码结果仅处于随机猜测水平。在仅使用小鼠数据完成训练后冻结参数,TWS 仅需一个线性探针即可迁移到猕猴和 Utah arrays。在边界无法定义的目标——到达方向——上,其 Matthews 相关系数达到 0.23,而仅使用事件时间的结果为 $0.01$。对于跨会话泛化而言,令牌比其上层模型更为重要。

查看原文(arXiv cs.LG)