为什么表格基础模型能在从未见过的关系数据上表现出色

给定一个存储异构表格信息的关系数据库（RDB），我们如何预测某个关注的目标列中缺失（或未来）的值？由于企业场景中存在众多候选预测目标，最好避免每遇到一项新的预测任务就从头训练一个新模型。基于上下文学习（ICL）并经过 RDB 专用预训练的冻结基础模型（FM）提供了一种可行的解决方案，但其理想设计在很大程度上仍是悬而未决的问题。或许出人意料的是，近期的初步证据表明，现有的单表基础模型（又称 TFM）在与适当的无参数关系编码器结合后，即使从未接受过 RDB 预训练，也从未接触过任何类型的关系数据，在实践中仍能展现出相当强的竞争力。在本研究中，我们首先通过更多样化的实验，从实证角度确认了这一现象。随后，我们转向本研究的主要贡献，即揭示多种相互补充的解释，以说明 TFM 为何如此有效。这些解释最终都归结于一种内在的协同作用：无参数编码器将关系效应映射为定长嵌入，其分布大致模拟了 TFM 最初设计所针对的分布；由此，单表场景中的理想性质得以迁移到关系场景中（例如，后验预测分布的收敛性）。总体而言，我们的分析为改进 RDB 基础模型开辟了新的路径，尤其是在优先考虑可解释性以及不可避免地将其集成到智能体系统中的情况下。