面向机器学习任务的可扩展数据源选择

arXiv:2507.22186v3 公告类型：替换 摘要：给定一张查询表，现有的数据湖发现技术通过模式相似性和可连接性来识别与查询表相关的数据源。然而，发现的数据源并不总是对下游分析有用；有些能够提升任务的泛化能力，有些则可能无意中引入有害噪声或分布偏移。我们将数据源选择形式化为寻找已发现数据源的一个子集，使下游任务效用最大化的问题。我们提出 Splice，这是一个兼顾目标与成本的数据源选择系统，借鉴基因剪接的思想，识别能够提供额外信号的数据源，而这些信号会被所有数据源的并集所掩盖。为加快这一过程，我们开发了两个代理变体 Splice-DP 和 Splice-Grad，分别利用元学习方法中的数据概况和梯度对齐，估计数据源子集对任务效用的边际贡献。在由最先进的表并集搜索工具生成的两个真实世界基准上的分类任务中，与使用所有已发现表的情况相比，Splice 将二分类 F1 分数提高了 3–5 个百分点。在另外五个涵盖分类和回归的真实世界机器学习任务中，Splice 相比使用全部数据源的基线将任务效用提高了 1.8–13.7 分，而 Splice-DP 和 Splice-Grad 在达到同等效果的同时，将模型评估次数降至原来的 1/3–1/7（在大规模场景下最多降至 1/77）。