arXiv cs.AI精选74

TICDA:表格上下文内数据归因

TICDA: Tabular In-Context Data Attribution

· 7天前

精选理由

提出高效方法解析表格上下文示例影响,助力纠错、筛选与主动学习。

AI 摘要

表格基础模型(TFM)通过利用上下文中提供的带标签示例进行条件化,无需更新任何参数,即可实现出色的预测性能。然而,单个示例如何影响给定预测,仍缺乏深入理解。这一空白在实践中十分重要:上下文通常由手头可用的带标签数据组成,可能因此纳入标签错误、冗余或低质量示例,从而降低性能。标准的数据归因方法无法直接迁移到 TFM 场景:基于重采样的方法(如 DemoShapley)需要进行组合数量级的前向传播,而基于梯度的估计方法(如影响函数)则要求计算训练样本对模型参数的影响,但上下文学习从不更新模型参数。我们提出 TICDA,这是一种直接利用基于 TFM 潜在嵌入训练的线性代理模型,在单次前向传播且几乎不增加成本的情况下,衡量上下文中每个示例影响的方法。我们在四项任务中表明,相较于其他方法,TICDA 实现了最佳的综合权衡:检测标注错误;在降低推理成本的同时整理上下文以保持预测准确率;生成可迁移至不同 TFM 的归因分数;以及支持高效主动学习的采集策略。

查看原文(arXiv cs.AI)