通过解耦式行为预训练扩展神经运动解码

arXiv:2611.08263v1 公告类型：新投稿 摘要：近期的神经解码方法通过在大量配对的神经—行为记录上训练，取得了优异性能，但此类数据集获取成本高、具有侵入性，且难以扩大规模。相比之下，行为数据丰富且易于收集，这引出了一个问题：神经解码能否受益于行为表征学习与神经表征学习的解耦？我们提出 BEEMO，这是一个灵活的跨会话框架，支持使用任意比例混合的配对神经—行为记录与未配对行为数据进行训练。行为解码器直接从行为轨迹中学习运动动力学，并在有神经活动数据可用时通过交叉注意力层将其整合进来，使行为监督与神经监督的规模能够独立扩展。在非人灵长类动物的多个皮层内运动数据集和任务上，我们表明，纳入未配对行为数据能够提升解码性能，尤其是在迁移至新任务时；而即使仅加入少量目标任务的行为数据，也能进一步改善迁移效果。通过将神经数据与行为数据解耦，我们开辟了一个新的规模扩展维度：未配对行为数据的收集成本远低于配对神经记录，且更易获取，可直接用于提升解码性能。我们进一步表明，仅基于行为数据进行预训练、完全不进行神经数据预训练，也能达到与在规模大得多的神经数据集上预训练的模型相当的性能。总体而言，我们的结果表明，扩大行为数据规模，为构建能够跨个体、跨任务泛化的神经解码模型提供了一条切实可行且具有成本效益的路径。代码可在 https://github.com/nerdslab/beemo 获取。