语言模型预训练过程中不断变化的块旁路响应与持久的深度排序

arXiv:2610.01165v1 公布类型：新 摘要：层干预被广泛用于探究语言模型的内部组织结构，但大多数分析只考察单个训练检查点，尽管模型的表征和计算会在整个预训练过程中不断演化。因此，哪些依赖深度的干预响应反映了持久的组织结构，哪些只是训练过程中的暂时性结果，仍未得到解答。我们在五条已发布的训练轨迹和11种模型—领域组合上，针对固定的教师强制上下文，使用单块恒等旁路来研究这一问题。我们发现，块旁路响应保留了可辨识的深度排序，但其幅度会重新分配：相邻检查点之间的秩对应关系强于相距较远的检查点，而较大的变化集中在那些会在不同文本样本中反复出现、并能迁移到不同评估领域的位置上。进一步的受控实验表明，自然旁路效应的变化无法归结为单一的下游敏感性：在复现的 Pythia 运行中，局部缺失更新的幅度增大，而汇总后的匹配下游响应却减小；相比之下，OLMo-2 7B 呈现出不同的平衡关系。这些匹配响应还取决于扰动的强度和方向，但没有发现针对性的补偿。总体而言，我们的结果表明，纵向层敏感性具有结构性但并非静态不变；在解读单个检查点上的干预响应时，应结合底层扰动路径在训练过程中如何演化这一背景。