学习多模态神经记录中的行为相关动力学

多模态神经数据有助于更全面地理解支撑行为的脑动力学。脉冲活动、局部场电位（LFPs）和行为等模态捕捉了脑过程在时空方面的不同特征，但以往用于分离变异来源的神经—行为模型依赖于单一神经模态。通过利用这些互补优势，多模态神经融合能够提供脑—行为过程的统一且丰富的表征，并克服单模态分析的局限性。在此，我们开发了 BREM-NET，这是一种非线性多模态动力学模型，能够将行为与具有不同统计特征和时间分辨率的多种神经模态相结合。BREM-NET 在推理过程中执行多模态神经融合，同时通过结构化学习框架分离行为相关神经动力学与残余神经动力学。在一个公开的多模态非人灵长类动物数据集中，研究人员在二维到达任务期间同步记录了脉冲活动和局部场电位；BREM-NET 能够分离这两类动力学并更准确地学习它们，这体现在更优的行为解码、更准确的神经预测以及与行为更强的潜在对齐上。此外，即使神经模态不同步或出现丢失（这是真实世界记录中的主要挑战），BREM-NET 仍能保留这些能力。该框架为研究跨越脑活动时空尺度的行为相关神经计算提供了新工具。