噪声标签下学习的拓扑特征

噪声监督如何改变神经网络学习到的表征？训练准确率衡量的是与训练标签的一致性，却几乎无法提供有关表征几何结构的信息。我们使用持久同调，追踪神经激活在不同距离阈值下的环结构。实验涵盖图像分类、文本分类和模运算。在固定的 CIFAR-10/ResNet-18 训练探针上，大小相同的干净标签子集与损坏标签子集在第 10 个 epoch 时没有可检测到的持久性差异，而在第 50 个 epoch 时，损坏标签子集具有更高的持久性。尽管在该检查点上，预测结果仅对 7%–11% 的损坏标签探针样本匹配所分配的噪声标签，这一对比在统一尺度控制下仍然存在。在 CIFAR-10/ResNet-18 上，归一化保留了干净训练轨迹与噪声训练轨迹之间的交叉现象；而在 CIFAR-100/ResNet-18 上，无论采用评估的五种构造方式中的哪一种，都没有出现交叉。在另一项针对五条流程的噪声率校准比较中，激活范数均值的样本内 R² 均值高于原始持久性（0.936 对 0.908）。这些发现表明，即使与损坏标签的一致性很低，噪声监督仍会留下可测量的几何特征。在尺度控制下比较持久性，并结合标签拟合测量，为研究表征如何响应标签损坏提供了一种途径，揭示了训练准确率无法呈现的信息。