协变量偏移下的潜在空间重要性加权
Latent-Space Importance Weighting under Covariate Shift
精选理由
介绍结合表征学习与重要性加权的迁移方法,提升协变量偏移下的预测效果。
AI 摘要
arXiv:2610.15571v2 公告类型:replace-cross 摘要:本文提出了一种用于协变量偏移的迁移学习算法,将样本重加权与表示学习相结合。我们方法的一个关键特征是使用低维潜在空间进行建模,这与直接在高维环境空间中运行的传统方法形成对比。我们估计所学习潜在特征的密度比,用于下游加权预测。对于具有规则学习空间预测得分和密度比的严格充分学习表示,我们在独立数据折叠下建立了明确的目标域超额风险收敛速率。在给定的光滑性条件下,我们给出了维度比较,并针对真实权重和固定预测器进行了方差比较。一般有限样本不等式保留了表示质量误差。在模拟数据集和真实世界数据集上的实验表明,结合学习表示与潜在空间加权能够带来性能提升,同时揭示了该方法对初始化和域选择的敏感性。