arXiv cs.LG精选72

RelICL:无需训练的表格基础模型关系学习

RelICL: Training-free Relational Learning with Tabular Foundation Models

· 11天前

精选理由

无需训练即可融合关系信息,缓解特征爆炸与交互盲区,提升复杂表格任务性能

AI 摘要

arXiv:2610.01725v1 发布类型:新 摘要:表格基础模型无需任何训练即可在单表任务上实现最先进的性能。近期研究表明,通过深度特征合成(DFS),这类模型也非常适合关系学习。深度特征合成通过将其他表的列聚合结果作为特征添加进来,将关系模式展平为单个表。该方法颇具吸引力,因为它可以直接受益于底层表格基础模型的改进或定制。在本文中,我们发现 DFS 存在两个关键问题:特征爆炸和交互盲视。第一个问题源于随着模式变得更加复杂,DFS 特征的数量会迅速增长,从而限制可扩展性和性能。第二个问题源于按列进行的聚合无法考虑特征交互,从而限制了性能。我们提出并探索了一种名为 RelICL 的替代方法。该方法保留了 DFS 的优势,同时缓解了这两个问题。从本质上说,RelICL 使用最终用于预测的同一个表格基础模型,通过模式图逐步传播并融合信息。在使用 RelBench 任务开展的实验研究中,RelICL 的表现与基于深度特征合成的最强方法相当。

查看原文(arXiv cs.LG)