表格基础模型实际上是浅层模型

采用上下文学习的表格基础模型（TFMs）无需额外训练即可解决新任务，因此特别适用于资源有限或存在隐私约束的场景。然而，其架构由多个 transformer 块组成，导致计算和内存开销较高。与此同时，梯度提升决策树（GBDTs）等传统替代方法仍具有很强的竞争力，并能在 CPU 上高效运行，这表明表格任务本身可能并不需要深层架构。这种反差引出了一个根本问题：能否通过消除架构冗余来简化 TFMs，同时不牺牲性能？为回答这一问题，我们提出了一种具有闭式解、无需标签的仿射转换器，可替换最多涵盖 96% 块的连续区段，同时保持其余部分不变。通过在 171 个分类数据集上评估八个前沿 TFMs，我们发现表格 transformer 存在严重的过度参数化：在所有架构中，替换模型一半的块所造成的 AUROC 中位数下降最多仅为 $0.002$，而深度减半的 TabFM 仍优于所有其他全深度 TFMs 和经过调优的 GBDTs。此外，不同模型家族的过度参数化方式也有所不同：TabPFN-3 依赖其编码器，无论仅保留哪一个块，都能维持性能。其他单轴模型将计算分散在各个块中，只需保留第一个块；双轴模型则将计算集中在一个关键块中。最终，削减深度最多可减少 15 亿个参数，将 GPU 推理速度提升至原来的 $6\times$，代价是 AUROC 中位数下降 $0.03$；而仅保留一个块的 TabPFN-3 在性能损失可忽略的情况下，对已缓存查询的处理速度达到原来的 $2.4\times$，内存用量降至原来的六分之一。