TAFFY：具有上下文多样性的任务自适应表格基础模型

arXiv:2610.07559v1 公告类型：new 摘要：近期表格基础模型的进展表明，在合成任务上进行训练能够显著提升上下文学习能力，而整体性能在很大程度上取决于模型在推理过程中能否从可用上下文中推断出任务特定的预测关系。本文提出 TAFFY，这是一种表格基础模型，配备了 In-Context Diversity Prior 和 Task-Conditioned Looped Transformer，以增强上述能力。具体而言，为构建每个合成预训练上下文，In-Context Diversity Prior 从多个相关环境中进行采样，这些环境通过在共享因果过程上施加受控干预和分布偏移得到。这种上下文多样性促使模型学习更加全面且面向任务特定的表示。此外，Task-Conditioned Looped Transformer 以迭代且有选择性的方式应用一组共享的 Transformer 模块，以细化上下文表示，并通过任务条件门控机制调节最终的隐藏状态更新。这实现了任务自适应的迭代细化。总体而言，这些组件促使模型在预训练期间从上下文对比中识别预测关系，并针对每个任务动态调节上下文整合方式。在六个分类基准数据集和五个回归基准数据集上，TAFFY 获得了最低的平均排名。