神经网络损失景观中临界轨道的通用拓扑对称性指标
A General Topological Symmetry Index for Critical Orbits In Neural Network Loss Landscapes
精选理由
提供适用于多种网络的拓扑对称性指标，解析损失景观临界轨道结构。
AI 摘要
arXiv:2610.28864v1 发布类型：新 摘要：由于神经网络损失景观具有高维性，对其整体结构进行系统理解仍然具有挑战性。网络架构和学习目标所产生的对称性，为研究这一结构的某些方面提供了途径。尽管越来越多的研究开始关注这些对称性，但对其进行系统刻画，以及对它们所产生的临界轨道进行系统刻画，仍不完整。为弥补这一空白，本文基于等变度理论系列中的方法，建立了一种拓扑对称性指标，用于解码这些对称性。该框架适用于任意网络架构，并包含适用于退化临界轨道的方法。该指标能够检测临界点的各向同性，并量化相应的净拓扑贡献。本文给出了多个示例，包括 softplus MLP、Transformers 和等变神经网络，以说明相关计算。