仅凭原始数据统计量预测核回归学习曲线

arXiv:2510.14878v3 公告类型：替换 摘要：我们研究了在 CIFAR-5m、SVHN 和 ImageNet 等真实数据集上使用常见旋转不变核的核回归。我们提出了一个理论框架，仅根据两项测量结果——经验数据协方差矩阵和目标函数 $f_*$ 的经验多项式分解——即可预测学习曲线（测试风险随样本量的变化）。核心新思路是对核在各向异性数据分布下的特征值和特征函数进行解析近似。这些特征函数类似于数据的 Hermite 多项式，因此我们将这一近似称为 Hermite 特征结构拟设（HEA）。我们针对高斯数据证明了 HEA，但我们发现，真实图像数据往往“足够接近高斯分布”，使 HEA 在实践中也能很好地成立，从而让我们能够利用已有的关于核特征结构与测试风险之间关系的结果来预测学习曲线。在核回归之外，我们还通过实证发现，处于特征学习状态的 MLP 按照 HEA 预测的顺序学习 Hermite 多项式。我们的 HEA 框架提供了一个概念验证：对于真实数据集上的非平凡学习算法，构建一种从数据集结构一路映射到模型性能的端到端学习理论是可能的。