TICDA:表格上下文数据归因
TICDA: Tabular In-Context Data Attribution
精选理由
帮助识别错误示例、优化上下文配置,并以更低成本提升表格模型预测与主动学习效率。
AI 摘要
arXiv:2610.07996v1 公告类型:新 摘要:表格基础模型(TFMs)通过以上下文中提供的带标签示例为条件,无需更新任何参数,便能实现强大的预测性能。然而,单个示例如何影响给定预测,仍缺乏充分理解。这一空白在实践中十分重要:上下文通常由现有的带标签数据拼接而成,因此可能包含标注错误、冗余或低质量示例,从而导致性能下降。标准的数据归因方法无法直接迁移到 TFM 场景:基于重采样的方法(如 DemoShapley)需要进行组合数量级的前向传播,而基于梯度的估计方法(如影响函数)则需要计算训练数据点对模型参数的影响,但上下文学习从不更新模型参数。我们提出 TICDA,这是一种直接利用基于 TFM 潜在嵌入训练的线性代理模型,衡量上下文中每个示例影响的方法,只需一次前向传播,且成本几乎可以忽略。我们在四项任务中展示了 TICDA 相较竞争方法的最佳权衡:检测标注错误;在降低推理成本的同时筛选上下文以保持预测准确率;生成可跨 TFM 迁移的归因分数;以及支持高效主动学习的采集策略。