超越对角状态空间模型:精确的非阿贝尔群跟踪、可解性障碍与几何物理流形
Beyond Diagonal State Space Models: Exact Non-Abelian Group Tracking, Solvability Barriers, and Geometric Physical Manifolds
精选理由
介绍非交换状态空间模型,突破对角模型局限,实现复杂群精确追踪与稳定长程记忆。
AI 摘要
arXiv:2610.00329v1 公告类型:新增 摘要:选择性状态空间模型(SSM),例如 Mamba、S4D 和 LRU,受到转移矩阵可交换性(A_t A_t' = A_t' A_t)以及可解仿射变换群(Aff_D,导出长度 <= 2)的限制。因此,在 A_5 等不可解单群上,堆叠式多层对角网络面临严重的优化退化问题,这是由于模拟非阿贝尔换位子所需的电路仿真深度呈指数增长。我们提出 Non-Commutative State Space Models(NC-SSM)、其保持实正交性的对应模型 SO(3)-SSM,以及任意维度的 Cayley-SSM,将状态转移提升至紧致李群 SU(2)、SO(3) 和 SO(N)。借助闭式 Euler-Rodrigues 映射与有理 Cayley 变换,NC-SSM 实现了精确的保持范数等距性(||U_t|| = 1)。我们引入纯 Hopf 纤维化 Bloch 射影读出(S^3/{+-1} =~ S^2 =~ SO(3))以消除符号歧义,引入真正的四元数并行前缀扫描(T=2048 时加速 9.06 倍),并采用 Identity-Gated Lie SSMs 消除稀疏语法中的相位漂移。在涵盖 14 种实验设置的大规模基准测试中,我们发现:(1)NC-SSM 在 S_3、D_4、Q_8 和单群 A_5 上实现 100% 的跟踪准确率,而 3 层深度对角基线模型降至 6.60%(p = 8.81e-4);(2)Cayley-SO(5)-SSM 突破了 Klein 于 1884 年在对称群 S_5 上设定的上限(50.92%,对比对角模型的 5.25%,p = 0.0015),并且相比 SO(3) 实现了 7.8 倍的方差降低;(3)SO(3)-SSM 在 300 步内保持黎曼流形结构(漂移 < 3.12e-6,优势超过 580,000 倍),实现了 0.04 度的航位推算误差以及主动切空间去噪;(4)NC-SSM 在 Dyck-2 上达到 74.36%,在深层 AST 作用域跟踪上达到 30.26%(p = 0.0081);(5)消融实验确认,严格等距性对于无损的长程联想记忆在数学上是必要的。