目标词元的不对称性可能伪装成深度特化

arXiv:2610.19344v1 公告类型：交叉发布 摘要：层消融研究通常会扰动语言模型的早期层或后期层，比较这种扰动对两个语料库上预测表现造成的损害，并将某一语料库上更大的早期层效应解读为早期层对该语料库任务的特化。这类比较是在各语料库要求模型预测的词元上取平均，而这些目标词元并不相同：例如，数学解答要求预测的空白符和数字远多于百科全书文本。我们表明，这种差异可能造成深度特化的表象。我们按目标词元类型分解跨语料库的早期层—后期层损害交互效应，并在两个语料库共享的目标词元混合分布下重新计算该效应。在 GSM8K 与 Wikitext 之间，正向交互效应在五个模型实例中均得到复现。在三个经过完整分解的模型中，只有空白符呈现正向交互效应。移除空白符后，三个模型的汇总效应均发生反转；匹配完整的目标词元混合分布后，其中两个模型的效应发生反转。在进行位置匹配、对词元类型进行对抗性重新分配以及采用连续型读出时，这一诊断仍然成立。仅凭分词器也能预判这种风险。在运行任何模型之前计算的一项筛查指标，将其评分的每个留出语料库对都归入了其标签所预测的区域；对于被评为高风险或中等风险的语料库对，移除空白符后，所有正向汇总估计值均发生反转。在向前一个词元的位置上，一个较小的实词效应随未消融模型已能预测的实词目标所占比例而变化。因此，只有在报告目标词元混合分布、按词元类型分解效应，并且混合分布匹配后的汇总效应仍保持原有符号之后，跨语料库的深度效应才能支持任务特化的解释。