深度何时有帮助？理解表格基础模型中的逐层推理

arXiv:2610.19814v1 公告类型：新论文 摘要：基于 Transformer 的表格基础模型（TFMs）在中小规模表格预测任务上取得了最先进的性能，同时通过一组共享的堆叠层处理多样化输入。近期的逐层分析发现，TFM 的早期表征具有很强的预测能力，且各层之间的计算存在大量重叠。然而，仅凭早期表征中的预测信息易于提取，并不能确定后续层对每个输入而言都可有可无，而总体准确率也可能掩盖哪些输入受益于额外计算。我们在 272 个分类数据集上研究了 TabPFN-3 的全部 24 个上下文学习层，结合表征几何、预测轨迹、截断和结构干预进行分析，同时考察了另外四个 TFM 中的相关表征动态。我们发现了一条显著的扩张—压缩轨迹，其中后期更强的维度收缩与类别原型分离程度的更大增幅相关。针对预测类别较早稳定的样本开展的定向分析表明，预测类别稳定后，表征仍会持续发生显著变化；而从浅层到后期层，局部模糊的查询样本比类别分离良好的查询样本获得了更大的准确率提升。重复使用单个预训练模块或扰动层顺序，平均而言都会降低预测性能，这限制了在冻结模型中进行简单事后替换的可行性。这些发现区分了预测信息的可提取性、类别稳定性以及继续计算的收益，支持根据输入评估 TFM 沿深度方向的冗余性。