arXiv cs.AI精选72

将记忆和泛化作为可分离的几何通道进行测量:Topo^2 框架

Measuring Memory and Generalization as Separable Geometric Channels: The Topo^2 Framework

· 43天前

精选理由

帮助读者用拓扑方法区分记忆与泛化

AI 摘要

在带噪标签上训练的深度网络,会在干净数据上同时泛化,并记忆翻转标签。这两者通常被混同为对同一容量的压力。我们提出 Topo^2,一个测量框架,使它们在因果上可分离、可测量,并受定律约束。表示空间的 persistent-homology H1 结构可分解为类内流形通道(训练停止点的函数)和跨类通道(对已记忆翻转样本的单调读出)。一种干预,即 FM0 prescription(从第 0 个 epoch 开始对翻转样本零损失),在几乎不记忆任何内容的情况下,达到各自设置的泛化上限。基于该框架,我们建立了一组具有分级证据的定律:(L2)FM0 分离处方(9/9);(L1)类内通道作为训练位置函数(中期上升 6/6;convergence-back CIFAR 3/3,SVHN 2/3);(L3)一个环构造恒等式(定义性的,不是定律);以及 TLS(记忆-泛化拓扑分层):记忆在因果上是可加的、可锚定的(使干净样本静默会使表征坍缩)、可逆的(剥离记忆可恢复接近上限的泛化),并且可量化计费(记忆成本定律,在参考容量下的有效斜率系数 C ~ 0.38:CIFAR-10 0.3801 / SVHN 0.3806 / CIFAR-100 0.384 / VGG 0.3715;总体上依赖容量,并可追溯到干净样本特征位移)。我们还公布了该框架的边界:一份包含九个失败尝试的证伪清单,以及一个仪器验证部分,排除了六类全局统计量作为类内通道解释。该框架将“记忆”从一个定义不清的容量,转变为一个可测量、可分离、可逆的拓扑层。

查看原文(arXiv cs.AI)