ReGraph： “什么”与“哪里”双重视觉通路中涌现泛化的计算解释

泛化能力——即提取与上下文无关的关系结构的能力——最初在哪里涌现，仍是人工智能与神经科学领域的核心问题。在海马体上游的内嗅皮层中，正是这种能力的基础所在：平行通路将内侧内嗅皮层（MEC）中的关系结构与外侧内嗅皮层中的感知内容分离开来。然而，正如 Eichenbaum 所论证的，这种因子分解很可能起源得更早，其驱动力来自背侧（“哪里”）与腹侧（“什么”）视觉通路的分离。支持这一观点的是，网格样放电模式——MEC 的一种标志性特征（上下文不变编码）——也出现在背侧通路上游的皮层区域中。然而，这类表征如何沿上游通路以计算方式形成，仍不得而知。为在计算机模拟中研究这一问题，我们开发了 ReGraph，这是一种具有生物学归纳偏置的循环双通路图模型，其中包括视网膜驱动的通路专门化编码、由背侧到腹侧的调制，以及动态侧向连接。在动作基准 Something-Something V2 上训练后，ReGraph 揭示了关系映射沿特定通路涌现的现象：上下文不变编码与网格样空间基底仅在扩展的背侧通路中共同涌现。相比之下，这些表征在单通路、无调制变体以及标准基线模型中的缺失表明，这些归纳偏置是关系结构形成的必要前提。更为关键的是，我们的事后分析表明，这些网格样基底可通过侧向连接充当信息处理的可复用路由模板。总体而言，我们的研究提供了一种计算层面的解释：泛化可能并非一种在专门脑区内突然涌现的能力，而是一种在感知信息被解析为层级视觉加工的因子化通路时就已开始形成的属性。