使用表格基础模型评估主动特征获取策略

arXiv:2610.07406v1 公告类型：新 摘要：主动特征获取通过按顺序获取特征来学习策略，以最大化关于目标变量的信息。我们研究了如何利用有限的离线数据，通过先验数据拟合网络（PFNs）学习和评估此类策略。PFNs 是开箱即用的模型，无需针对具体任务进行训练即可输出后验预测分布。我们表明，在离线数据覆盖不均衡的情况下，使用总预测熵作为奖励会产生一种认知偏差，惩罚获取观测稀疏的特征。具体而言，这种奖励将认知不确定性（源于离线数据的缺乏）与偶然不确定性（源于特征缺乏信息）混为一谈。为解决这一问题，我们在评估特征获取时，针对的是后验期望的（偶然）熵，而不是 PFN 输出的总预测熵。在合成数据集和真实世界数据集上的实证评估表明，我们的方法能够持续降低价值估计偏差，并产生具有较强经验覆盖率的可信区间，从而有望改进下游策略选择。