什么时候合成关系数据会教会模型使用关系？从预训练数据到模型行为追踪预测结构

arXiv:2610.03057v1 公告类型：新 摘要：关系型基础模型越来越多地在合成数据库上进行预训练，但下游基准测试很少揭示为什么某个合成语料库能产生比另一个更好的模型。尤其是，强劲的性能可能源于逼真的行级统计特征，而模型本身却从未学会利用关系结构。我们将这一问题视为数据归因问题：合成预训练数据的哪些属性会诱导模型进行关系计算？我们使用四个 Relational Transformer 检查点，它们采用相同的架构、初始化方式、训练目标和计算预算，并分别在由四种关系数据生成器生成的语料库上训练，从而追踪数据中的一种可测量属性如何关联到模型学会的计算方式及其下游行为。我们假设，当跨表信息对于掩码单元格预训练目标而言具有预测上的必要性时，关系机制就会出现。RelDiff 从外键关联的父表中获得的预测增益远高于其他方法，其对应模型也对未见过的数据库中的外键干预表现出独特的敏感性。这种依赖关系在随机初始化对照实验中依然存在，且会随着被破坏链接所占比例的增加而单调增强，并定位到一条串行跨表路径。最后，在下游推理过程中破坏同一机制，会消除 RelDiff 在关系任务上的优势，同时几乎不影响对结构不敏感的模型。这些结果将合成训练数据的一种属性与模型学会的机制联系起来，并通过干预进一步将该机制与下游行为联系起来。