训练与验证的分离为何会出现？预训练骨干网络中的更新压力密度动力学

arXiv:2610.01425v1 公告类型：新提交 摘要：训练与验证的分离，是指模型在已观测训练样本与有限的留出验证集上表现之间不断演变的差异。我们提出一种动态结构性解释，说明这一差距如何在预训练模型的适配过程中形成：持续拟合可能使更新需求从可广泛复用的支撑转向更狭窄、对留出数据迁移能力更弱的支撑。一个条件局部模型将这种转变与梯度分配异质性的增加以及训练与验证的分离联系起来。固定的训练探针使这种结构演变可以被观测，而无需将验证样本纳入读出指标；留出数据上的表现则被单独用于评估这种演变与差距的关系。在使用残差多层感知机（ResMLP）实现的一个构造层级结构中，保持四个共享特征层级之间的相对混合比例为 $1{:}2{:}3{:}4$，同时将样本私有特征的目标占比从 $p=.3$ 增至 $.5$ 再增至 $.7$，每种条件下运行五次得到的最终平均准确率差距相应从 $.185$ 增至 $.331$ 再增至 $.527$。在训练样本和验证样本上分别测得的掩码输入损失揭示了相应的迁移不对称性。自然语言处理（NLP）分析使用 RoBERTa、DeBERTa 和 Qwen，在六个数据集上开展每次 10 个训练轮次的实验（共 90 次运行）：在全部 90 次运行中，以训练探针加权的类内离散度和总体离散度这两种读出指标，其原始值和平滑值均与准确率差距呈正相关。以约一个训练轮次的间隔配对的原始变化量，分别在 86/90 和 87/90 次运行中仍呈正相关。一项持续 40 个训练轮次的 ResNet-18 研究在三个视觉数据集上检验了这两种读出指标。总体而言，受控模拟、NLP 和视觉实验在不同场景下均支持这一动态结构性解释，其中真实模型的证据通过指定的监测指标检验了该解释的可观测预测。