分布偏移下表格基础模型的参数高效分布鲁棒适应
Parameter-Efficient Distributionally Robust Adaptation of Tabular Foundation Models under Subpopulation Shift
精选理由
仅微调极少参数，即可提升表格基础模型在分布偏移下的弱势群体表现。
AI 摘要
arXiv:2610.01143v1 公告类型：新增 摘要：尽管平均准确率很高，表格基础模型（TFMs）在子群体偏移下可能在代表性不足的群体上表现不佳；在这种情况下，训练阶段与部署阶段的群体比例会发生变化。我们提出 DR-TFM，一种无需真实群体标注的参数高效分布鲁棒适应框架。DR-TFM 通过微调现有的查询缩放网络，或添加并训练一个查询缩放网络，来调整对有标签上下文示例的注意力，同时固定所有其他参数。我们利用从训练数据中推导出的估计群体或源条件分布，基于两种鲁棒目标函数实例化了该框架。对于 TabPFN-3，适应过程仅更新预训练模型 0.016% 的参数。在五个表格基准数据集上，与预训练 TFMs 及所比较的鲁棒基线方法相比，DR-TFM 在没有真实群体标注的情况下显著提高了平均最差群体准确率，同时保持了具有竞争力的平均群体准确率。DR-TFM 还提升了 ACS Income 以及另外四个 TFM 上的平均最差群体准确率。