标准化陷阱：表格基础模型中标签联合处理的判定

arXiv:2610.08314v1 公告类型：交叉收录 摘要：线性回归和核平滑为上下文学习提供了易于分析的解释：在这两种方法中，特征决定了分配给每个上下文标签的权重。然而，这种固定权重解释是否适用于预训练的表格基础模型（TFM），仍不明确。使用导数检验这一解释会遇到标准化陷阱：公开的 TFM 软件包会在标签输入模型之前对其进行标准化，但普通导数也会反映标准化标签集合之外的行为，导致模型看起来是非线性的，即使其每次预测都与某个固定权重映射一致。我们提出了两种判定准则，它们仅依赖于标准化标签处的预测，并可分别否定两种不同的解释：固定权重预测，以及独立非线性标签变换之和。在我们评估的五个公开 TFM 中，这些判定准则表明，改变一个上下文标签会改变其他标签对预测的影响方式，我们将这种行为称为联合处理。我们进一步发现，联合处理会随着训练而出现，且测得的交互作用大部分由注意力分数承载。总体而言，这些发现表明，对 TFM 的解释应考虑上下文标签如何改变单个样本的影响力。