STEER：通过语义感知采样降低关系基础模型的推理成本

arXiv:2610.00907v1 公告类型：cross 摘要：关系基础模型（RFMs）在一组关系数据库和预测任务上进行一次预训练，随后以零样本方式应用于此前未见过的数据库和任务。为了对目标行进行预测，RFM 会采样通过外键与该行相连的行所构成的邻域，并将该邻域用作推理上下文。降低推理成本是任何基础模型的重要目标；对于 RFM 而言，这一成本会随着上下文规模的增大而增加。缩小上下文最简单的方法是丢弃部分采样行，但这忽略了数据库模式的语义，因此丢弃信息丰富行和信息不丰富行的可能性相同。我们提出了 STEER，这是一种通过将推理上下文集中于与当前预测任务最相关的表来缩小上下文的采样方法。STEER 通过提示大语言模型，根据给定任务对数据库模式中的外键边进行相关性分层，从而获取相关性信息，然后将每个层级映射为遍历过程中跟随该边的概率。由于该排序仅使用模式信息，因此每个任务只需计算一次，便可在后续所有预测中复用，从而摊销其成本。我们在三种最先进的 RFM（RT、RT-J 和 Griffin）上评估了 STEER，结果表明，在保持预测准确率、且在某些情况下提升预测准确率的同时，它平均可将推理上下文规模减少约 40%。