可证明的深度特征选择 FDR 控制：Deep MLPs 及其他模型

arXiv:2512.04696v3 公告类型：replace-cross 摘要：我们基于深度神经网络开发了一个灵活的特征选择框架，可近似控制错误发现率（FDR），这是一种衡量 I 类错误的指标。该方法适用于第一层为全连接层的架构。从第二层开始，它支持任意宽度和深度的多层感知机（MLPs）、卷积网络和循环网络、注意力机制、残差连接以及 dropout。该过程还支持采用与数据无关的初始化和学习率的随机梯度下降。据我们所知，这是首项在如此广泛的深度学习设置下，为特征选择提供 FDR 控制理论保证的工作。我们的分析建立在多指标数据生成模型之上，并考虑这样一种渐近情形：特征维度 $n$ 以快于潜在维度 $q^{*}$ 的速度发散，而样本量、训练迭代次数、网络深度以及隐藏层宽度均不受限制。在此设置下，我们证明，基于梯度的特征重要性向量的每个坐标都具有边际正态近似，从而支持渐近 FDR 控制的有效性。作为理论上的限制，我们假设设计矩阵具有 $\mathbf{B}$-右正交不变性，并讨论了更广泛的推广。我们还给出了数值实验，以进一步印证理论结果。