深度思考：表格基础模型的回顾式推理

arXiv:2610.10317v1 发布类型：new 摘要：表格基础模型（TFMs）在多种表格任务上进行预训练，并在推理时利用新表格中的已标注示例作为上下文，对其进行预测。近期大多数 TFM 通过堆叠的 Transformer 层执行此类上下文内预测，不断转换示例的表示方式并重新比较示例。通过追踪多个强大 TFM 中的单个查询，我们发现，预测细化在不同深度上的分布极不均衡，且通常集中在较后的层中。这种不均衡促使我们重新思考如何在整个网络中构建和复用中间表示。我们提出 Retro，一种基于回顾式推理的表格基础模型，使后续阶段能够显式回顾并重新组合网络早期产生的中间信息。Retro 围绕两个互补操作组织这一过程：回顾哪些中间信息，以及如何针对每个查询塑造由此产生的上下文更新。Attention Residuals 通过自适应地重新加权不同深度的贡献来处理前者，而 query-conditioned Gated Attention 则通过在表示维度上逐元素调节注意力输出来处理后者。我们的分析表明，Retro 将预测细化更早地引入网络，并使其更广泛地分布于不同深度；不同阶段会修正不同的查询子集，这种模式显示出多视角细化的特征。在 TabArena、TALENT 和 RelArena 上，Retro 均位列前三，并处于 Pareto 前沿。这些结果表明，直接复用中间表示为更充分地利用 TFM 的深度提供了一种实用方法。