arXiv cs.AI精选75

时钟一路贯穿到底:序列处理 AI 是否需要内生时间结构?

Clocks all the way down: does sequence-processing AI need endogenous temporal structure?

· 1天前

精选理由

揭示内生时间结构如何提升序列模型的信息路由、记忆检索与离线巩固能力。

AI 摘要

主流序列处理 AI 具有时间反应性:每次更新都由输入和学习到的状态转移驱动,而不是由一个独立演化的内部时间参照驱动。相比之下,生物脑会持续生成节律性活动,为感知、记忆和认知提供结构,而这种节律性一直延伸到行为层面。我们探讨这种差异究竟仅仅是实现方式上的差异,还是确实涉及计算层面的差异。四条证据线索表明,内生时间结构支持一些输入驱动架构可能难以轻易复现的潜在功能:1)依赖相位的信息路由;2)具有延迟结构的组合表征;3)跨频率的项目复用;4)由振荡门控的离线巩固。一项概念验证性的延迟消融测试,将表征能力与记忆提取区分开来。在突触权重和连接固定的循环脉冲网络与空间脉冲网络中,打乱延迟能够保留部分容量,但会显著损害序列提取。对于空间网络和更长的传播过程,这种相对差异更加明显。瞬时传输则会使容量本身崩溃。随后,我们概述了一种跨频率复用方案,将项目身份和序列顺序结合起来,并配合用于选择性记忆提取的替代机制。最后,我们提出一个可证伪的假设、资源匹配测试的条件,以及三个研究方向:相关组件已经存在;但严谨的比较尚未开展。

查看原文(arXiv cs.AI)