ResNet 中相变频率作为测试准确率的训练时间预测因子

我们从实证上考察在 ResNet 微调过程中观察到的离散类可分性跃迁次数，作为最终测试准确率的预测因子。在涵盖四个基准（CIFAR-10、CIFAR-100、TinyImageNet 和 CIFAR-10-C）以及三种架构（ResNet-18、ResNet-50 和 ResNet-101）的 75 次实验中，每种配置使用五到十个随机种子，在标准 i.i.d. 分类基准上得到强的同数据集负相关：在 CIFAR-10 上 \(r = -0.84\)（\(p < 10^{-8}\), \(n = 30\)），在 CIFAR-100 上 \(r = -0.87\)（\(p < 10^{-5}\), \(n = 15\)）。在分布压力下，这种关系减弱：TinyImageNet 得到 \(r = -0.45\)，CIFAR-10-C 失真基准得到 \(r = -0.19\)。另外两项分析对这一经验结论进行了约束。将架构深度作为线性协变量进行控制的偏相关分析表明，在 CIFAR-100 上，跃迁次数仍保留统计显著的预测能力（\(r_{\mathrm{partial}} = -0.69\), \(p = 0.007\)）；在更严格的类别条件控制下，相应结果在 \(n = 15\) 时尚未得到证实。与六种其他训练曲线信号的比较表明，跃迁次数在 CIFAR-100 上获得了所评估信号中的最高相关性，在 CIFAR-10 上也属于最强之一，但在这两个受压力的基准上被其他信号超过。该比较仅限于训练曲线层面的信号；与当前文献中最强竞争者——effective rank、Hessian sharpness、Fisher information、margin 和 neural-collapse 度量——的比较不属于本研究范围，仍待进一步研究。该观察结果被视为同分布训练质量探针家族中的一种候选探针，并提供了一种适合与标准训练循环一同记录的低开销检测流程。