任务感知插补何时重要？训练与测试不匹配下的鲁棒性分析
When Does Task-Aware Imputation Matter? An Analysis of Robustness Under Train-Test Mismatch
精选理由
揭示缺失机制在训练与测试间变化时，任务感知插补如何提升预测鲁棒性，并指出重建误差并非可靠指标。
AI 摘要
arXiv:2610.20342v1 公告类型：新论文 摘要：数据缺失是机器学习中普遍存在的挑战，往往会降低预测性能，并使模型部署变得复杂。现有方法大多将插补视为独立于下游任务的预处理步骤；当训练与测试之间的缺失机制或缺失率不匹配时，这种分离就会带来问题。我们提出了一个统一框架，将缺失条目视为以任务为条件的优化问题中的变量。我们在两种设置下具体实现了这一框架：针对训练和测试阶段均存在数据缺失的场景，采用摊销式方法；针对仅训练数据不完整的场景，采用潜变量优化方法。我们在98个表格数据集上进行了评估，并在36个数据集上评估了训练与测试不匹配下的鲁棒性。结果表明，重建误差并不能很好地反映预测效用（Spearman rho 约为0.16至0.32）；在经典方法无法恢复完整数据条件下的性能时，任务感知插补变得至关重要，在具有挑战性的训练与测试不匹配场景中，胜率最高可达80%。