表格基础模型的测试时计算：机制、收益与局限

arXiv:2610.12005v1 公告类型：新 摘要：哪些形式的测试时计算能够改善强大的预训练表格基础模型（TFMs）的预测？我们从三个轴向对此进行了系统研究：适应、聚合和上下文构建。评估涵盖 TabArena 基准测试中的现代 TFM，并辅以在 OpenML 上的宽表和大规模表格实验。在适应方面，我们提出了 DiagScale，一种对角查询—键相似度更新方法。该方法仅训练模型参数的 0.003%–0.03%，却在三个独立预训练的骨干模型上取得了与全量微调相当的增益。在聚合方面，候选池的构成和选择策略都很重要。TabPFN-3 已经对同一数据的不同预处理变体进行预测并取平均，继续增加此类预测带来的收益会逐渐递减。在包含 96 种配置的更大候选池中，贪心选择相较于默认预测器可将误差降低 2.4%，但均匀平均反而会增加误差。在上下文构建方面，注意力引导的检索改善了 TabPFN-3 在部分大型表格上的预测，并支持使用超出完整上下文记忆容量限制的来源池。我们测试的上下文扩展方法未带来一致的改进。总体而言，我们的结果表明，适应和选择性聚合能够带来稳定的基准级增益。在同一骨干模型上结合适应与聚合还能获得进一步提升，但其所需计算量显著高于默认推理。这些权衡促使人们根据可用的计算预算选择相应策略。代码可在 https://github.com/kanghui-learning/test-time-compute-for-tabular-foundation-models 获取。