将表格基础模型蒸馏为高效预测器

arXiv:2610.01435v1 公告类型：新 摘要：表格基础模型（TFM）通过上下文学习实现了强大的预测性能，但反复基于带标签数据进行条件化会使推理成本高昂。知识蒸馏可以将其预测能力迁移至轻量级、针对特定数据集的学生模型，从而降低这一成本。然而，TFM 的预测同时依赖于带标签的上下文和查询，这引出了两个设计问题：如何构造教师监督信号，以及扩大查询覆盖范围是否有助于蒸馏。我们在两个 TFM 以及神经网络和基于树的学生模型上研究了这些问题，并得出了一套有效的蒸馏方案。该方案使用完整的带标签训练集作为教师上下文，并仅依据教师对观测查询和合成查询的预测来训练学生模型。在 TabArena 上，所得学生模型比经过监督训练、调优并集成的对应模型高出 57–98 个 Elo 分。在 TALENT 上直接采用同一方案后，在 300 个数据集中的 236–258 个数据集上，学生模型相较于匹配的默认学生模型取得了提升，并将主要误差的中位数降低了 4.0%–6.4%。蒸馏后的学生模型相较于教师模型还实现了 3.0–21.6 倍的中位数推理加速，在预测性能与重复推理成本之间提供了一种实用的权衡。代码可在 https://github.com/nums-ai/TFM_Distillation 获取。