何时、何处、如何：面向表格基础模型的主动上下文学习

arXiv:2611.07886v1 公告类型：新论文 摘要：表格基础模型（TFMs）仅通过上下文中的已标注行来适应新任务。然而，在现实场景中，获取标签的成本很高，因为确保数据质量需要高度专业的领域知识。主动上下文学习将经典的样本获取规则迁移到这一场景中，而指导样本获取的模型会随着每个新增标签而变化。我们探讨：随着参数冻结的 TFM 获得更多上下文，多样性、预测不确定性和目标感知信息增益的价值会如何变化。为此，我们研究了 Target-Aware Nearest Neighbor（TANN）样本获取方法和 Expected Predictive Information Gain in Context（EPIC），并将它们与经典规则进行比较。我们使用两个成熟的 TFMs 和经典 GBDTs，在二十个基准上开展研究，得出三项主要发现：（i）何时：在最初几轮样本获取迭代中，基于多样性的方法表现最佳；（ii）何处：通过简单的目标感知最近邻规则，标注样本池中有助于目标输入预测的数据行，具有显著作用；（iii）如何：在给定标签预算下，EPIC 能得到最佳模型；在样本池最大的八个基准上，仅标注样本池中 5–10% 的数据，即可平均保留使用完整数据时经随机水平校正后性能的 80–87%；其选择标注的样本还能提升梯度提升决策树的预测性能。