逃离参数空间：通过表征质量获得紧致的泛化界

arXiv:2610.23729v1 公告类型：新 摘要：我们基于确定性神经网络的最后一个隐藏层表征，推导出一个紧致的泛化界。通过使用无参数的 $k$-nearest-neighbor（$k$-NN）分类器评估表征质量，我们的证书避免了传统的参数空间复杂度度量、相对于后验分布的 KL 散度、权重范数以及压缩。该界是紧致的：从头开始训练时，在 CIFAR-10（ResNet-18）上，它与测试误差之间的差距达到 8.0 个百分点，并在 CIFAR-100 上给出了据我们所知首个非平凡证书；使用冻结的 DINOv2 表征时，它在 CIFAR-10 上给出 1.4% 的证书，在包含 1,000 个类别的 ImageNet 上给出 23.1% 的证书。该界可加性地分解为三个经验量，且这三个量可以独立测量：局部类别几何（$k$-NN 解码器误差）、解码器网络一致性以及训练稳定性。这使得该界能够充当诊断工具：我们证明，主动破坏局部类别几何会在保持数据集记忆不变的同时消除泛化，从而确定类别几何是泛化的因果相关机制。最后，我们表明，学习得到的表征对权重噪声的敏感性显著低于线性读出层，这或许解释了为什么参数空间证书往往难以保持紧致。