表格基础模型的循环式上下文学习

表格基础模型通过上下文学习（ICL）适应新数据集，并且和大多数 Transformer 一样，将计算深度与独立参数化层的数量绑定在一起。我们探讨这样一个问题：此类模型的 ICL 阶段是否需要每一层都有一组不同的参数，还是只需要增加深度。我们引入 Tab-Loop，以4个共享参数的模块重复执行 $k$ 次，替代 TabICLv2 中12个参数不共享的 ICL 模块，其他部分完全不变：编码器、解码器、合成先验和训练方案均与一个在相同计算量下训练的非共享参数基线保持一致。在预训练计算量相同（18.2 EFLOP）、推理计算量相同（应用模块12次）的条件下，Tab-Loop 的参数量减少62%，但性能与基线相当（10.4M 对 27.6M）：留出集对数损失为0.4583 对 0.4588，在200个 TALENT 数据集上的平均准确率为84.10% 对 83.92%，在38个 TabArena 数据集上的 Elo 得分为1409 对 1396。一个参数量与 Tab-Loop 相同的4模块非共享参数对照模型，在相同计算量下接触到多32%的训练表格数据，但表现落后于二者（83.46%；Elo 得分1343）。由于权重共享，深度成为推理时可以选择的项。在训练覆盖的循环次数范围内，准确率会随着循环次数增加而提升，并在超出该范围后保持稳定；通过以更深的循环次数继续训练，可扩展有效范围，并在达到基线推理计算量4--5倍时，取得基线的阶段2得分。在这一规模下，表格基础模型的 ICL 阶段更需要深度，而不是更多彼此不同的参数。