成本惩罚主动特征获取的拉格朗日结构

arXiv:2610.21919v1 发布类型：new 摘要：主动特征获取（AFA）通过顺序选择特征，在特征获取预算约束下最大化预测准确率。一种自然的启发式方法是贪心地最大化期望信息增益减去成本惩罚，即 EIG(j|x_S)-lam*c_j（EIG-Cost），但其理论保证尚不明确。我们提供了一个事后证书，将其与最优硬预算策略之间的差距分解为预算松弛项和贪心次优项 Del_lam。当惩罚后的最优解可处理时，该证书可以计算；在小规模异质成本实例上，我们对其进行了精确验证，在4,000个已求解案例中发现 Del_lam 始终接近零。在大型临床任务中，Del_lam 无法计算，因此该分解只能用于诊断，而非提供数值保证。我们的分析表明，EIG-Cost 是对期望成本 AFA 的拉格朗日松弛进行单步贪心优化的方法，其中 lam 是其对偶乘子。对于成本相等的情形，我们证明 Del_lam <= exp(-gam*I(Y;X_[d]))，其中 gam 是次模性比率，从而在近似次模的情形下得到结构性保证。相关结果建立了一个自适应链式法则恒等式，表明逐步 EIG 的累积值优化的是轨迹信息；同时证明，即使对于联合高斯变量，A -> I(Y;X_A) 也不一定是次模函数。这排除了直接应用 Nemhauser-Wolsey-Fisher 界的可能；朴素贝叶斯则可以恢复次模性。我们还界定了硬预算最优解与期望成本最优解之间的随机化差距，分析了局部平滑性条件下对偶乘子误差的敏感性，并在给定前向预测 KL 散度上界的情况下，推导了条件 CVAE 生成器偏移界。我们将该 KL 散度视为诊断量，而非训练损失的变换。实验涵盖合成高斯环境、AFA 基准测试，以及基于 MIMIC-IV 的临床鉴别诊断。在 MIMIC-IV 上，EIG-Cost 在 $30 预算下取得了 0.180 +/- 0.012 的 macro-F1，仅使用完整特征面板成本的 6.6%。