表格基础模型实质上是浅层模型

arXiv:2610.13253v1 公告类型：新论文 摘要：采用上下文学习的表格基础模型（TFMs）无需额外训练即可解决新任务，因此尤其适用于资源有限或存在隐私约束的场景。然而，其架构包含多个 transformer 块，导致较高的计算和内存开销。与此同时，梯度提升决策树（GBDTs）等传统替代方案仍具有很强的竞争力，并且能在 CPU 上高效运行，这表明表格任务可能并不天然需要深层架构。这一对比引出了一个根本问题：能否通过移除架构冗余来简化 TFMs，同时不牺牲性能？为回答这一问题，我们提出了一种具有闭式解、无需标签的仿射转换器，可替换最多占全部块数 96% 的连续块区间，同时保持其余部分不变。通过在 171 个分类数据集上评估八种前沿 TFMs，我们发现表格 transformer 存在严重的过度参数化：在所有架构中，替换模型一半的块所造成的 AUROC 中位数损失最多仅为 $0.002$，而深度减半的 TabFM 仍优于其他所有完整深度的 TFMs 和经过调优的 GBDTs。此外，不同模型家族的过度参数化方式各不相同：TabPFN-3 依赖其编码器，无论仅保留哪一个块，都能维持性能。其他单轴模型将计算分散在各个块中，实际上只需要第一个块；双轴模型则将计算集中在一个关键块中。最终，削减深度最多可减少 15 亿个参数，并以 $0.03$ 的 AUROC 中位数损失为代价，将 GPU 推理速度提升至原来的 $6\times$；而仅含一个块的 TabPFN-3 在性能损失可忽略不计的情况下，对缓存查询的处理速度达到原来的 $2.4\times$，内存用量仅为原来的六分之一。